llama.cpp menambahkan dukungan Hy3 dengan decoding spekulatif MTP

Sebuah pull request yang diajukan ke repositori ggml-org/llama.cpp memperkenalkan dukungan untuk model Hy3 dari Tencent, khususnya varian hy_v3. Pembaruan ini memungkinkan penggunaan kepala prediksi multi-token model sebagai target decoding spekulatif draft-mtp.

• Menambahkan dukungan untuk Hy3 dari Tencent (hy_v3 / HYV3ForCausalLM), model MoE 299B dengan 80 lapisan ditambah satu lapisan MTP.
• Mengimplementasikan kepala prediksi multi-token untuk berfungsi sebagai target decoding spekulatif draft-mtp di dalam llama.cpp.