llama.cpp добавляет поддержку Hy3 с спекулятивным декодированием MTP

Запрос на слияние (pull request), поданный в репозиторий ggml-org/llama.cpp, вводит поддержку модели Tencent Hy3, конкретно варианта hy_v3. Это обновление позволяет использовать многозадачную предсказательную головку модели в качестве целевого объекта для спекулятивного декодирования draft-mtp.

• Добавляет поддержку модели Tencent Hy3 (hy_v3 / HYV3ForCausalLM), 299B MoE модели с 80 слоями плюс один слой MTP.
• Реализует многозадачную предсказательную головку для работы в качестве целевого объекта спекулятивного декодирования draft-mtp внутри llama.cpp.