Benchmark · reasoning
DROP
DROP (Discrete Reasoning Over Paragraphs) é um benchmark de compreensão de leitura com cerca de 96 mil perguntas de crowdsourcing sobre trechos da Wikipedia que exigem raciocínio discreto sobre o texto — aritmética, contagem, ordenação e comparação —, avaliado por correspondência exata (EM) e por um F1 macromédio sensível a números.
Saiba mais
- Exemplo
- Um trecho curto (muitas vezes o relato de um jogo da NFL ou um artigo de história) com uma pergunta que não se responde copiando um único fragmento: por exemplo, subtrair duas quantidades citadas no texto, contar quantos eventos de certo tipo ocorreram ou ordenar entidades para decidir qual veio primeiro ou por último.
- Pontuação
- Duas métricas, macromediadas sobre todas as perguntas: correspondência exata (EM: a predição normalizada é igual à resposta de referência) e F1 (sobreposição de tokens como sacos de palavras entre predição e referência; com vários fragmentos, alinhados de forma ótima um a um). É sensível a números: se um número da resposta não coincidir exatamente com o de referência, esse F1 é 0. A resposta de referência pode ser um número, um ou mais trechos de texto ou uma data.
- Verificação
- As predições são pontuadas contra o conjunto de respostas de referência pelo script oficial de avaliação do DROP após normalização (caixa baixa; remoção de artigos, pontuação e espaços extras), tomando a melhor pontuação entre todas as respostas válidas. Os placares públicos reportam EM e F1 em uma partição de teste oculta.
- Por que importa
- Ao contrário dos conjuntos de extração de fragmentos, o DROP exige compor vários fatos com operações simbólicas (somar, subtrair, contar, comparar), revelando se o modelo de fato raciocina numericamente sobre o texto em vez de casar padrões com um único fragmento. Foi construído de forma adversária — mantendo perguntas que um leitor de base forte errava — e continua sendo uma sonda padrão de raciocínio discreto e numérico.
Exemplo resolvido
Tarefa
Trecho: «The Broncos abriram o placar com um field goal de 24 jardas; the Chargers responderam com um touchdown terrestre de 5 jardas; antes do intervalo The Broncos somaram um field goal de 43 jardas e the Chargers lançaram um touchdown de 12 jardas». Pergunta: «Quantas jardas o field goal mais longo dos Broncos foi maior que o field goal mais curto deles?»
Solução
Identifique os dois field goals dos Broncos: 24 e 43 jardas. Subtraia o mais curto do mais longo: 43 − 24 = 19. Resposta final: 19 (número).
Explicação
A resposta não é um fragmento do trecho: precisa ser derivada selecionando os dois field goals dos Broncos e subtraindo — exatamente a aritmética discreta que o DROP visa. Correção: o número previsto deve coincidir exatamente com a referência 19, resultando em EM = 1 e F1 = 1 (a checagem numérica passa).
Ainda não há pontuações verificadas para este benchmark.