LordNeel은 Tencent의 295B MoE Hy3 모델과 오디오 지원 30B 하이브리드 MoE인 Nemotron-Labs-Audex-30B-A3B에 대한 GGUF 양자화 세트를 게시했으며, 완전한 벤치마크 데이터와 재현 가능한 지표를 제공합니다.
- Hy3 양자화에는 Q6_K (226 GiB), Q4_K_M (167 GiB), Q3_K_L (143 GiB), IQ2_M (90 GiB)가 포함되며, 품질은 WikiText-2의 BF16 기준 로짓을 기준으로 측정됩니다.
- Nemotron-Labs-Audex 양자화는 텍스트 전용 GGUF과 전체 어휘 오디오 생성 파일을 제공하며, 더 작은 파일 크기와 높은 처리량을 위한 MXFP4_MOE를 포함합니다.
- 두 저장소 모두 차트, 체크섬, 양자화 계획 및 각 양자화별 로그를 포함하여 주관적인 품질 주장 없이 재현성을 보장합니다.
이 릴리스는 사용자가 이러한 대규모 모델을 로컬에서 실행하기 위해 투명하고 데이터 기반의 옵션을 사용할 수 있도록 하며, 특정 하드웨어 권장 사항과 텐서 폴백과 같은 알려진 제한 사항도 포함됩니다.