한 사용자가 ROCmFP4 및 iMatrix 기술을 활용하여 Qwen 3.5 122B 모델의 맞춤형 GGUF 양자화인 "Heretic"을 출시했습니다.

  • 체크포인트는 100억 개의 활성 파라미터를 가진 Strix Halo 하드웨어용으로 설계되었습니다.
  • 약 60.70 GiB 의 메모리가 필요합니다.
  • 벤치마크 결과 BF16 정밀도에서 초당 28.45 토큰의 성능을 보여줍니다.
  • 이 모델은 퍼플렉시티 (KLD) 가 0.100716 이며 파이프라인 처리량이 초당 353.3 토큰에 달합니다.