사용자가 100G 스위치를 통해 연결된 네 대의 GB10 GPU로 구성된 커스텀 하드웨어 환경에서 GLM 5.2 모델을 실행하여 약 330k 컨텍스트 길이와 생성 시 초당 ~25 토큰을 달성했습니다.

  • 구성은 ~360k KV 풀을 위해 TP4+DCP2를 사용하며, 긴 프롬프트에서 프리필 속도는 900-1000 t/s에 도달합니다.
  • DCP4를 사용하면 컨텍스트가 660k로 확장되지만 프리필 속도는 ~400 t/s로 감소하고, DCP를 제거하면 프리필이 ~750 t/s로 증가합니다.
  • 디코딩 성능은 콘텐츠 유형에 따라 다릅니다: 사고 작업은 초당 ~20 토큰, 코드는 초당 25-35 토큰, Pi의 일반적인 턴은 초당 ~24 토큰을 생성합니다.
  • 모델을 5-10% 가지치기하면 1M 이상의 컨텍스트 또는 더 높은 동시성을 허용할 수 있지만, 데이터 없는 10% 가지치기는 코딩 능력을 보존하면서도 일부 지시 준수 능력을 잃는 것으로 나타났습니다.
  • 총 하드웨어 비용은 약 $16k였으며, 구성 요소로는 두 대의 Acer GN100, 두 대의 Asus GX10 및 Mikrotik CRS504 스위치가 포함되었습니다.

저자는 이 설정이 일반적인 사용에 대해 재정적으로 최적이지는 않지만, 디코딩 속도가 초당 12 토큰에 불과한 reportedly 한 512GB Mac Studio에서 GLM을 로컬로 실행하는 것에 대한 실행 가능한 대안이라고 언급합니다.