Terminal Bench 4.0이 출시되어 새로운 모델 출시 속도에 맞춰 벤치마크를 업데이트하고 벤치마크 포화 현상에 대응합니다.
- 업데이트에는 오차 범위를 고려할 때 GLM-5.3이 Fable 5와 동일한 수준에 있음을 보여주는 성능 데이터가 포함됩니다.
- 발표에서는新興 모델에 비해 관련성을 유지하기 위한 TerminalBench의 빠른 반복을 강조합니다.
- 커뮤니티 논의에서는 대규모 벤치마크의 높은 컴퓨팅 비용을 강조하며, 실행당 5-10B 토큰이 필요하다고 지적합니다.