ベンチマーク · reasoning
DROP
DROP(Discrete Reasoning Over Paragraphs)は、Wikipedia の文章に対する約9万6千件のクラウドソーシング質問からなる読解ベンチマークで、テキスト上での離散的推論——算術・数え上げ・並べ替え・比較——を要求し、完全一致(EM)と数値を考慮したマクロ平均 F1 で採点される。
詳しく見る
- 例
- 短い文章(多くは NFL の試合レポートや歴史記事)と、単一のスパンをコピーするだけでは答えられない質問の組。例として、本文中の二つの数量を引き算する、ある種の出来事が何回起きたかを数える、あるいは対象を並べ替えてどれが最初か最後かを判断する、など。
- 採点方法
- 全質問でマクロ平均した二つの指標:完全一致(EM、正規化した予測が正解と一致)と F1(予測と正解を単語の袋とみなしたトークン重なり。複数スパンの答えはスパン同士を最適に対応付ける)。数値を考慮し、答えの数値が正解と厳密に一致しない場合その F1 は 0 になる。正解は数値、一つ以上のテキストスパン、または日付のいずれか。
- 検証方法
- 予測は正規化(小文字化、冠詞・句読点・余分な空白の除去)ののち、DROP 公式の評価スクリプトで正解集合と照合され、許容されるすべての正解の中で最高スコアが採用される。公開リーダーボードは隠しテスト分割上の EM と F1 を報告する。
- 重要な理由
- スパン抽出型のデータセットと異なり、DROP は複数の事実を記号的操作(加算・減算・数え上げ・比較)で組み合わせる必要があるため、モデルが単一スパンへのパターン照合ではなく本当にテキスト上で数値推論をしているかを露わにする。強力なベースライン読解器が誤った質問を残す敵対的な方法で構築され、いまも離散的・数値的推論の標準的な試金石であり続けている。
解説付きの例
課題
本文:「The Broncos が 24 ヤードの field goal で先制し、the Chargers が 5 ヤードのランによる touchdown で応じた。前半終了前に The Broncos が 43 ヤードの field goal を加え、the Chargers が 12 ヤードのパスによる touchdown を決めた。」質問:「Broncos の長いほうの field goal は、短いほうの field goal より何ヤード長かったか?」
解答
Broncos の二つの field goal を特定する:24 ヤードと 43 ヤード。長いほうから短いほうを引く:43 − 24 = 19。最終解答:19(数値)。
解説
答えは本文中のスパンとしては存在せず、Broncos の二つの field goal を選んで引き算することで導く必要がある——まさに DROP が狙う離散的な算術である。採点:予測した数値が正解 19 と厳密に一致しなければならず、EM = 1 と F1 = 1 になる(数値チェックを通過)。
このベンチマークの検証済みスコアはまだありません。