Benchmark · reasoning

DROP

saturated 0 hasil 0 model

DROP (Discrete Reasoning Over Paragraphs) adalah benchmark pemahaman bacaan berisi sekitar 96 ribu pertanyaan hasil crowdsourcing atas paragraf Wikipedia yang menuntut penalaran diskret atas teks — aritmetika, penghitungan, pengurutan, dan perbandingan — dinilai dengan Exact Match (EM) dan F1 rata-rata makro yang peka terhadap angka.

Selengkapnya

Contoh: Sebuah paragraf pendek (sering kali laporan pertandingan NFL atau artikel sejarah) beserta pertanyaan yang tidak bisa dijawab dengan menyalin satu bentang teks: misalnya mengurangkan dua kuantitas yang disebut di teks, menghitung berapa kali suatu jenis peristiwa terjadi, atau mengurutkan entitas untuk menentukan mana yang pertama atau terakhir.
Penilaian: Dua metrik, dirata-rata makro atas semua pertanyaan: Exact Match (EM: prediksi ternormalisasi sama dengan jawaban acuan) dan F1 (tumpang tindih token sebagai kantong kata antara prediksi dan acuan; untuk jawaban banyak bentang, keduanya dipadankan secara optimal satu-satu). Metrik ini peka angka: jika sebuah angka dalam jawaban tidak persis sama dengan acuan, F1 tersebut 0. Jawaban acuan dapat berupa angka, satu atau lebih bentang teks, atau tanggal.
Verifikasi: Prediksi dinilai terhadap himpunan jawaban acuan oleh skrip evaluasi resmi DROP setelah normalisasi (huruf kecil; membuang artikel, tanda baca, dan spasi berlebih), dengan mengambil skor terbaik di antara semua jawaban yang sah. Papan peringkat publik melaporkan EM dan F1 pada bagian uji tersembunyi.
Mengapa penting: Berbeda dengan dataset ekstraksi bentang, DROP menuntut penggabungan beberapa fakta lewat operasi simbolik (menambah, mengurangi, menghitung, membandingkan), sehingga mengungkap apakah model benar-benar bernalar secara numerik atas teks alih-alih mencocokkan pola ke satu bentang. Ia dibangun secara adversarial — mempertahankan pertanyaan yang dijawab salah oleh pembaca dasar yang kuat — dan tetap menjadi uji standar untuk penalaran diskret dan numerik.

Contoh penyelesaian

Tugas

Paragraf: «The Broncos membuka skor dengan field goal 24 yard; the Chargers membalas dengan touchdown lari 5 yard; sebelum turun minum The Broncos menambah field goal 43 yard, dan the Chargers melempar touchdown 12 yard.» Pertanyaan: «Berapa yard lebih panjang field goal terpanjang Broncos dibanding field goal terpendek mereka?»

Solusi

Kenali dua field goal Broncos: 24 dan 43 yard. Kurangi yang lebih pendek dari yang lebih panjang: 43 − 24 = 19. Jawaban akhir: 19 (angka).

Penjelasan

Jawabannya bukan bentang di dalam paragraf; ia harus diturunkan dengan memilih dua field goal Broncos lalu mengurangkannya — persis aritmetika diskret yang disasar DROP. Penilaian: angka prediksi harus persis sama dengan acuan 19, sehingga menghasilkan EM = 1 dan F1 = 1 (pemeriksaan angka lolos).

Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.