LordNeel merilis kuantisasi GGUF untuk Tencent Hy3 dan NVIDIA Nemotron-Labs-Audex

LordNeel telah menerbitkan set kuantisasi GGUF untuk model MoE Hy3 295B dari Tencent dan model hibrida MoE 30B yang mampu audio Nemotron-Labs-Audex-30B-A3B dari NVIDIA, menyediakan data benchmark lengkap dan metrik yang dapat direproduksi.

• Kuantisasi Hy3 mencakup Q6_K (226 GiB), Q4_K_M (167 GiB), Q3_K_L (143 GiB), dan IQ2_M (90 GiB), dengan kualitas diukur terhadap logit referensi BF16 pada WikiText-2.
• Kuantisasi Nemotron-Labs-Audex menawarkan GGUF teks-saja dan file audiogen vocab-lengkap, termasuk MXFP4_MOE untuk ukuran file yang lebih kecil dan throughput yang lebih tinggi.
• Kedua repositori berisi grafik, checksum, rencana kuantisasi, dan log per-kuantisasi untuk memastikan reproduktibilitas tanpa klaim kualitas subjektif.

Rilis ini memberikan pengguna opsi transparan dan berbasis data untuk menjalankan model-model besar ini secara lokal, termasuk rekomendasi perangkat keras spesifik dan keterbatasan yang diketahui seperti fallback tensor.