Tencent-HY3 berjalan di Mac 128GB dengan kecepatan dua kali lipat DeepSeek v4 Flash

Seorang pengguna berhasil menjalankan model MoE Tencent HY3 (295B-A21B) di MacBook M5 Max dengan 128GB memori terpadu menggunakan checkpoint GGUF yang dikuantisasi dan llama.cpp. Konfigurasi ini mencapai kecepatan generasi token sekitar dua kali lipat dibandingkan DeepSeek v4 Flash sambil mempertahankan kualitas output yang sebanding atau lebih baik.

• Model ini menggunakan kuantisasi 3-bit "unsloth dynamic" UD128 (107GB) dari pengguna Hugging Face YanissAmz.
• Dukungan untuk arsitektur HY3 dan decoding spekulatif ditambahkan ke llama.cpp melalui PR #25395.
• Benchmark pada M5 Max menunjukkan kecepatan decode 32,4 token/detik pada konteks kosong dan 16,3 token/detik pada konteks 16K.
• Pengguna mencatat bahwa kinerja praktis pada prompt normal dan penggunaan alat dasar lebih unggul dibandingkan setup DeepSeek v4 sebelumnya.

Penulis menyoroti HY3 sebagai opsi MoE besar yang menjanjikan untuk penyebaran lokal pada perangkat konsumen bermemori tinggi, mendorong orang lain untuk mengujinya.