GLM 5.2 FP8 및 FP8 KV로 Terminal-Bench 2.1에서 79.8% 달성

한 사용자가 SGLang을 통해 H200 GPU에서 GLM 5.2 모델을 FP8 정밀도와 FP8 키-값 캐시 양자화로 테스트했습니다. 평가는 Terminal-Bench 2.1 벤치마크 스위트에서 수행되었습니다.

• 모델은 89개 작업 중 71개를 통과하여 점수 79.8%를 기록했습니다.
• 하나의 작업이 시간 초과되어 재실행되지 않았으며, 이는 최종 점수에 영향을 미쳤을 수 있습니다.
• 테스트에는 218,656,815개의 입력 토큰이 사용되었으며 캐시 히트율은 98.8%였습니다.

이는 고성능 하드웨어에서 특정 양자화 조건 하의 GLM 5.2 성능을 보여줍니다.