github llama.cpp · только что · inference

llama.cpp b10907 исправляет выделение контекстного kv-кэша MTP для deepseek2, glm4moe, cohere2moe

Переведено с English → Русский

Проект llama.cpp выпустил версию b10907, которая включает исправление выделения контекстного ключ-значения кэша Multi-Token Prediction (MTP). Это обновление устраняет проблемы, затрагивающие архитектуры deepseek2, glm4moe и cohere2moe.

Исправляет выделение контекстного kv-кэша MTP для моделей deepseek2, glm4moe и cohere2moe.
Добавляет инверсное архитектурное гейтирование и комплексное тестирование архитектуры для фильтрации слоев MTP.
Упрощает комментарий NextN фильтра и убирает изменения test-llama-archs.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что Live

llama.cpp b10908 исправляет простаивающие потоки в ядрах Metal iq mul_mv

Проект llama.cpp выпустил версию b10908, которая включает исправление для простаивающих потоков в оставшихся ядрах iq mul_mv для ne00 < 1024. Это изменение обобщает логику разделения строк для шести конкретных ядер: iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s и iq3_s.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b10905 настраивает Flash Attention для AMD RDNA4 и пересматривает логику stream-k

Проект llama.cpp выпустил сборку b10905, которая включает специфическую настройку Flash Attention для CUDA/HIP на архитектуре gfx1201. Это обновление сосредоточено на оптимизации производительности для GPU AMD RDNA4.

github llama.cpp · 1 д назад · 5 просмотров

llama.cpp b10888 добавляет метки отладки командных буферов для профилировщиков GPU

Проект llama.cpp выпустил сборку b10888, которая включает новую функцию добавления меток отладки командных буферов для профилировщиков GPU во бэкенде Vulkan.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10886 добавляет поддержку векторных встроенных функций Q1_0 для s390x

Проект llama.cpp выпустил сборку b10886, которая внедряет поддержку векторных встроенных функций Q1_0 для архитектуры s390x. Это обновление включает реализацию `ggml_vec_dot_q1_0_q8_0` и обновляет документацию, чтобы отразить новую возможность.

github llama.cpp · 2 д назад · 2 просмотра

llama.cpp b10883 исправляет умножение матриц Vulkan и восстанавливает оптимизации Ampere

Проект llama.cpp выпустил сборку b10883, включающую значительные обновления бэкенда Vulkan. Основное изменение заключается в использовании спецификационных констант для операций умножения матрица-на-матрицу типа A с целью улучшения компиляции шейдеров и производительности.