llama.cpp menambahkan dukungan arsitektur Tencent Hunyuan 3 (hy_v3)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur model Tencent Hunyuan 3 (HYV3ForCausalLM), yang ditandai sebagai hy_v3 dalam format GGUF. Pembaruan ini memungkinkan pengguna menjalankan tumpukan decoder MoE spesifik ini di dalam pustaka.

• Menambahkan dukungan penuh untuk arsitektur hy_v3, termasuk RMSNorm per-head Q/K dan router sigmoid dengan bias pemilihan ahli.
• Mengimplementasikan ahli bersama yang selalu aktif tanpa gerbang (ungated) dan blok padat utama melalui first_k_dense_replace.
• Diport dari fork charlie12345 dan diadaptasi ke API jalur utama saat ini untuk kompatibilitas dengan GGUF hy_v3 yang ada.

Perubahan ini memungkinkan komunitas memanfaatkan model Tencent Hunyuan 3 di berbagai platform, termasuk macOS, Linux, Windows, dan Android, di berbagai backend perangkat keras seperti CUDA, ROCm, dan Vulkan.