LordNeel опубликовал наборы квантования GGUF для модели MoE Hy3 от Tencent объёмом 295B и аудио-способной гибридной модели MoE Nemotron-Labs-Audex-30B-A3B от NVIDIA объёмом 30B, предоставив полные данные бенчмарков и воспроизводимые метрики.
- Квантования Hy3 включают Q6_K (226 GiB), Q4_K_M (167 GiB), Q3_K_L (143 GiB) и IQ2_M (90 GiB), при этом качество измеряется по логитам BF16-референса на WikiText-2.
- Квантования Nemotron-Labs-Audex предлагают GGUF-файлы только для текста и полные vocab-файлы для аудиогенерации, включая MXFP4_MOE для уменьшения размера файлов и повышения пропускной способности.
Оба репозитория содержат графики, контрольные суммы, планы квантования и логи для каждого квантования, чтобы обеспечить воспроизводимость без субъективных заявлений о качестве.
Выпуск предоставляет пользователям прозрачные, основанные на данных варианты запуска этих больших моделей локально, включая конкретные рекомендации по оборудованию и известные ограничения, такие как тензорные фоллбэки.