Epoch AI는 Google의 Gemini 2.5 Deep Think 모델 공개 버전의 제3자 평가를 수행하여 수학적 추론 및 FrontierMath 등의 벤치마크에서의 성능을 평가했습니다.

  • 이 모델은 FrontierMath Tier 1–3 (29%) 및 Tier 4 (10%)에서 최상위 점수를 달성하여 배경 지식과 계산 정밀도가 향상되었음을 입증했습니다.
  • 전문 수학자 두 명은 이 모델을 전반적으로 유용한 연구 보조 도구로 평가했으며, 다른 최상위 모델들과 크게 비교될 수 있다고 밝혔습니다.
  • 모델은 2025년 국제수학올림피아드(IMO)에서 동메달 수준의 점수를 획득했으나, 높은 창의성이나 복잡한 증명이 필요한 문제에서는 어려움을 겪었습니다.
  • 평가 결과에 따르면 Deep Think는 기하학에서 개념적 접근법에 더 의존하며, 수학 문헌을 인용할 때 가끔 잘못된 정보를 제공했습니다.

이 보고서는 모델이 복잡한 계산 수행에는 강점이 있지만, 창의적 문제 해결과 출처 관련 사실 정확성 측면에서는 한계가 있음을 강조합니다.