github llama.cpp · 1 ч назад · inference

llama.cpp b11009 исправляет разделение состояния для слитного QKV в gemma4 и qwen35

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11009, которая устраняет критические проблемы с разделением состояния и вычислениями гранулярности для слитных слоев внимания QKV.

Код модели теперь корректно вычисляет состояния разделения для attn_qkv на основе n_head * n_embd_head_k, решая проблемы совместимости с моделями gemma4, использующими флаг --fuse-qkv, где n_embd равен 5376, а Q — 8192.
Добавлена поддержка слитных слоев полного внимания для архитектур qwen35 и qwen35moe.
Добавлен тег TODO [TAG_SPLIT_QGATE_QWEN] для отслеживания дальнейшей работы по разделению QGate для моделей Qwen.

Этот релиз гарантирует, что конкретные конфигурации моделей, особенно те, которые включают слитные операции QKV в gemma4 и qwen35, работают корректно без ошибок вычисления состояния.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b11006 добавляет поддержку Hexagon для K-Quants Q4_K и Q6_K

Проект llama.cpp выпустил версию b11006, добавившую поддержку процессоров Qualcomm Hexagon для работы с форматами K-Quantization. Это обновление реализует специфические ядра для уровней квантования Q4_K и Q6_K на архитектуре Hexagon.

github llama.cpp · 4 ч назад · 2 просмотра

llama.cpp b11005 принимает обнулённые rope probe для уменьшения разделения графа

Проект llama.cpp выпустил версию b11005, которая включает исправление для бэкенда Hexagon, позволяющее принимать обнулённые rope probes в supports_op.

github llama.cpp · 5 ч назад · 2 просмотра

llama.cpp добавляет поддержку HrmTextForCausalLM (DFM Mimir 1B)

Проект llama.cpp добавил поддержку архитектуры HrmTextForCausalLM, что позволяет выполнять вывод для модели DFM Mimir 1B. Эта реализация включает новый писатель и загрузчик GGUF для обработки уникальной структуры модели, которая использует два стека трансформеров в чередующемся цикле над одним потоком токенов.

github llama.cpp · 7 ч назад · 1 просмотр

llama.cpp b11001 исправляет повреждение транспонирования int16 на RISC-V

Проект llama.cpp выпустил сборку b11001, которая включает критическое исправление функции `permute_transpose_impl`, обрабатывающей данные int16 на архитектурах RISC-V.

github llama.cpp · 13 ч назад · 1 просмотр

llama.cpp b10995 делает хвост BN/2 операции MUL_MAT_ID в Vulkan безусловным

Проект llama.cpp выпустил сборку b10995, которая изменяет обработку операции MUL_MAT_ID бэкендом Vulkan. В частности, изменение делает хвост BN/2 безусловным, используя BN/2 по умолчанию для BNover2 и в качестве отключенного резервного варианта для BNover4, одновременно убирая управляющий переключатель из этой ветви.