GLM-5.2 4비트 모델, 4× DGX Spark에서 Terminal-Bench 2.1에 70.8% 달성

한 사용자가 GLM-5.2 (753B MoE) 모델을 NVFP4 4비트 KV 캐시를 사용하여 Int4-Int8Mix로 양자화하고, 4대의 DGX Spark (GB10) 시스템에서 실행하여 Terminal-Bench 2.1에서 70.8%의 점수를 달성했습니다.

• 설정은 4× DGX Spark 노드 간 TP=4를 사용하며, ~273 GB/s 대역폭과 4비트 KV 캐시로 활성화된 100K 컨텍스트 창을 포함합니다.
• 추론에는 MTP 예측 디코딩과 FULL CUDA 그래프가 사용되어 초당 약 27.5 tok를 생성했습니다.
• 63/89 작업의 결과는 동일한 Terminus-2 에이전트 스케폴드에서 공식 풀 정밀도 점수인 81.0%와 비교됩니다.
• ~10점 격차는 양자화의 영향, 공식 256K 대비 줄어든 100K 컨텍스트 제한 및 더 작은 토큰 예산을 포함합니다.

이 실행은 소비자용 하드웨어에서 4비트 오픈 가중치 모델이 복잡한 에이전트 벤치마크에서 공식 풀 정밀도 성능의 약 87%를 유지할 수 있음을 보여줍니다.