LordNeel a publié des ensembles de quantification GGUF pour le modèle MoE Hy3 de 295B de Tencent et le modèle hybride MoE de 30B compatible audio Nemotron-Labs-Audex-30B-A3B de NVIDIA, fournissant des données de benchmark complètes et des métriques reproductibles.
- Les quantifications Hy3 incluent Q6_K (226 GiB), Q4_K_M (167 GiB), Q3_K_L (143 GiB) et IQ2_M (90 GiB), avec la qualité mesurée par rapport aux logits de référence BF16 sur WikiText-2.
- Les quantifications Nemotron-Labs-Audex offrent des GGUFs uniquement pour le texte et des fichiers audio-complet-vocab, y compris MXFP4_MOE pour des tailles de fichier plus petites et un débit plus élevé.
- Les deux dépôts contiennent des graphiques, des sommes de contrôle, des plans de quantification et des journaux par quantification pour assurer la reproductibilité sans affirmations subjectives sur la qualité.
La publication offre aux utilisateurs des options transparentes et basées sur les données pour exécuter ces grands modèles localement, y compris des recommandations matérielles spécifiques et des limitations connues telles que les retours de tenseur.