벤치마크 · reasoning
DROP
DROP(Discrete Reasoning Over Paragraphs)는 Wikipedia 지문에 대한 약 9만 6천 개의 크라우드소싱 질문으로 이루어진 독해 벤치마크로, 텍스트에 대한 이산 추론——산술·세기·정렬·비교——을 요구하며 정확 일치(EM)와 수치를 고려한 매크로 평균 F1로 채점한다.
자세히 보기
- 예시
- 짧은 지문(대개 NFL 경기 리포트나 역사 기사)과 단일 스팬을 복사해서는 답할 수 없는 질문의 조합. 예를 들어 본문에 나온 두 수량을 빼거나, 특정 유형의 사건이 몇 번 일어났는지 세거나, 대상을 정렬해 무엇이 처음 또는 마지막인지 판단하는 식이다.
- 채점 방식
- 모든 질문에 대해 매크로 평균한 두 지표: 정확 일치(EM, 정규화된 예측이 정답과 동일)와 F1(예측과 정답을 단어 가방으로 보고 토큰 겹침을 계산하며, 여러 스팬 답은 스팬끼리 최적으로 정렬한다). 수치를 고려하여, 답의 숫자가 정답과 정확히 일치하지 않으면 그 F1은 0이 된다. 정답은 숫자, 하나 이상의 텍스트 스팬, 또는 날짜일 수 있다.
- 검증 방식
- 예측은 정규화(소문자화, 관사·구두점·여분 공백 제거) 후 DROP 공식 평가 스크립트로 정답 집합과 대조되며, 허용되는 모든 정답 가운데 최고 점수를 취한다. 공개 리더보드는 숨겨진 테스트 분할에서의 EM과 F1을 보고한다.
- 왜 중요한가
- 스팬 추출형 데이터셋과 달리 DROP는 여러 사실을 기호적 연산(덧셈·뺄셈·세기·비교)으로 결합해야 하므로, 모델이 단일 스팬에 패턴을 맞추는 것이 아니라 실제로 텍스트에 대해 수치 추론을 하는지 드러낸다. 강력한 기준 독해 모델이 틀린 질문을 남기는 적대적 방식으로 구축되었고, 지금도 이산·수치 추론의 표준 검증 도구로 남아 있다.
예제 풀이
문제
지문: 「The Broncos가 24야드 field goal로 먼저 득점했고, the Chargers가 5야드 러싱 touchdown으로 응수했다. 전반 종료 전 The Broncos가 43야드 field goal을 추가했고, the Chargers가 12야드 패싱 touchdown을 성공시켰다.」 질문: 「Broncos의 더 긴 field goal은 더 짧은 field goal보다 몇 야드 더 길었는가?」
해답
Broncos의 두 field goal을 찾는다: 24야드와 43야드. 긴 것에서 짧은 것을 뺀다: 43 − 24 = 19. 최종 답: 19(숫자).
풀이
답은 지문에 스팬으로 그대로 존재하지 않으며, Broncos의 두 field goal을 골라 빼서 도출해야 한다——바로 DROP가 겨냥하는 이산 산술이다. 채점: 예측한 숫자가 정답 19와 정확히 일치해야 하며, 그 결과 EM = 1과 F1 = 1이 된다(수치 검사 통과).
이 벤치마크에 대해 아직 검증된 점수가 없습니다.