ベンチマーク · multimodal
MathVista
MathVista は、視覚入力（図、チャート、幾何図形、科学的なグラフ）に対する数学的推論を評価するマルチモーダルベンチマークです。成績は accuracy（正解率）、すなわち正しく答えた問題の割合として報告されます。
詳しく見る
- 例
- 典型的な問題は、画像（幾何図形、関数のグラフ、棒グラフ、表など）と、細かな視覚的詳細を読み取ったうえで数学的に推論しなければ解けない問いを組み合わせます。たとえば、ラベル付きの図から長さを計算したり、チャートから値を読み取ったりします。問題は多肢選択式か自由記述式（整数・小数・リスト）です。
- 採点方法
- 指標は accuracy（正解率）です。答えは自由記述式または多肢選択式なので、まず LLM がモデルの完全な回答から短い最終回答を抽出し、正規化したうえで正解と完全一致で比較します。accuracy は正解した問題の割合であり、タスク種別や推論種別ごとの内訳も報告されます。
- 検証方法
- 評価は 2 つの分割を用います。ローカル採点用に解答が公開された 1000 問の testmini セットと、解答が非公開の約 5141 問のより大きな test セットで、後者は公式評価リーダーボードに予測を提出したときのみ採点されます。回答抽出と完全一致のパイプラインがそれを認めたとき、結果は正解として数えられます。
- 重要な理由
- テキストのみの数学ベンチマークと汎用の視覚質問応答ベンチマークは、それぞれ MathVista が狙う交差領域、すなわち真の視覚的理解なしには不可能な数学を取りこぼします。MathVista はモデルと人間の大きな差を明らかにし、マルチモーダル基盤モデルの視覚的数学推論を測る標準的なものさしとなりました。
解説付きの例
課題
画像：2 本の直角をなす辺にそれぞれ 6 と 8 とラベル付けされた直角三角形。問い：「図中の斜辺の長さはいくつか？」回答形式：自由記述の整数。
解答
ピタゴラスの定理より、斜辺 c = √(6² + 8²) = √(36 + 64) = √100 = 10。最終回答：10。
解説
解くには、図からラベル付きの辺の長さを読み取り（視覚的理解）、次にピタゴラスの定理を適用する（数学的推論）必要があります。採点：LLM がモデルの回答から短い答え「10」を抽出し、正規化した完全一致で正解と照合します。
このベンチマークの検証済みスコアはまだありません。