Ante 0.preview.71 하네스를 사용한 독립적인 평가는 DeepSeek V4 Flash 0731 이 Terminal-Bench 2.1 에서 82.7% 의 정확도 점수를 달성했으며, 이는 DeepSeek 가 이전에 보고한 결과와 일치함을 확인합니다.

  • 실행은 89 개의 작업에 걸쳐 445 번의 시도로 구성되었으며, 각 작업당 5 번의 시도와 최대 추론 노력이 포함되었습니다.
  • 모델은 445 번 중 368 번의 성공적인 시도를 달성하여 정확도 82.7% (±1.79 SE) 를 얻었습니다.
  • 평가는 `deepseek/deepseek-v4-flash-0731` 모델을 OpenRouter 를 통해 사용했으며, 기술은 활성화되지 않았습니다.

모든 구성 및 시도 기록은 검증을 위해 Harbor 작업에서 공개적으로 이용 가능합니다.

결과들은 DeepSeek V4 Flash 0731 의 성능이 평가 하네스에 민감함을 보여주며, 벤치마킹에 유용한 데이터를 제공합니다.