ベンチマーク · multimodal

CharXiv

0 結果 0 モデル

CharXiv は、arXiv 論文から取り出した実際の科学的なチャートをマルチモーダル LLM がどれだけ理解できるかを測るベンチマークで、記述的質問（チャートの基本要素の読み取り）と推論質問（値の比較・分析）について精度を別々に報告します。

詳しく見る

例: チャート画像に対して、記述的タスクではタイトルの読み取り、凡例項目の数え上げ、目盛りラベルの提示などを求め、推論タスクでは描かれた 2 つの系列を比較してある点でどちらが大きいかを答えさせます。いずれもチャートの視覚情報だけで解けます。
採点方法: 各質問には短い自由記述で答えます。GPT-4o が自動採点者として働き、モデルの回答を抽出して、人手で検証された正解と照らし合わせ、正誤の二値スコアを付けます。スコアは精度（正答率）で、記述的サブセットと推論サブセットで別々に報告されます。
検証方法: 2,323 枚のチャート、その質問、正解はすべて人間の専門家が手作業で作成・検証しています。回答は、GPT-4o 採点者が参照解答と一致すると判定した場合にのみ正解と認められ、報告された人間の精度（推論で約 80.5%）が参照上限となります。
重要な理由: チャートの読み取りは、科学論文や財務報告書に MLLM を適用するうえで中心的ですが、従来のベンチマークは単純なテンプレート型チャートを用いて進歩を過大評価していました。CharXiv の自然で多様な arXiv チャートは最良のモデルと人間の大きな差を露わにし、視覚的推論の厳しく現実的なテストとなっています。

解説付きの例

課題

[推論の例示項目]「Validation Accuracy by Model Size」というタイトルのグループ化された棒グラフ。X 軸：モデルサイズ（7B、13B、70B）、Y 軸：精度（%）。各グループに 2 本の棒、Dataset A と Dataset B：7B → A=61, B=58；13B → A=68, B=62；70B → A=79, B=71。質問（短く答えてください）：Dataset A と Dataset B の精度差が最も大きいのはどのモデルサイズですか？

解答

グループごとの差 A − B：7B → 61 − 58 = 3；13B → 68 − 62 = 6；70B → 79 − 71 = 8。最大 = 8 → 答え：70B。

解説

これは推論質問です。単一の値を取り出すのではなく、6 本すべての棒の高さを読み取ってその差を比較する必要があるからです。GPT-4o 採点者は短い回答を正解「70B」と照合して二値で採点し、推論精度の指標に反映されます。

このベンチマークの検証済みスコアはまだありません。