github llama.cpp · 1 ч назад · inference

llama.cpp b11005 принимает обнулённые rope probe для уменьшения разделения графа

Переведено с English → Русский

Проект llama.cpp выпустил версию b11005, которая включает исправление для бэкенда Hexagon, позволяющее принимать обнулённые rope probes в supports_op.

Ранее отклонение probes с n_dims == 0 или freq_base == 0 заставляло rope_freqs переходить на CPU, что приводило к ненужному разделению графа. Это изменение предотвращает такие разделения, уменьшая количество разделов в моделях типа gemma-4-E2B с пяти до двух.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp добавляет поддержку HrmTextForCausalLM (DFM Mimir 1B)

Проект llama.cpp добавил поддержку архитектуры HrmTextForCausalLM, что позволяет выполнять вывод для модели DFM Mimir 1B. Эта реализация включает новый писатель и загрузчик GGUF для обработки уникальной структуры модели, которая использует два стека трансформеров в чередующемся цикле над одним потоком токенов.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b11001 исправляет повреждение транспонирования int16 на RISC-V

Проект llama.cpp выпустил сборку b11001, которая включает критическое исправление функции `permute_transpose_impl`, обрабатывающей данные int16 на архитектурах RISC-V.

github llama.cpp · 10 ч назад · 1 просмотр

llama.cpp b10995 делает хвост BN/2 операции MUL_MAT_ID в Vulkan безусловным

Проект llama.cpp выпустил сборку b10995, которая изменяет обработку операции MUL_MAT_ID бэкендом Vulkan. В частности, изменение делает хвост BN/2 безусловным, используя BN/2 по умолчанию для BNover2 и в качестве отключенного резервного варианта для BNover4, одновременно убирая управляющий переключатель из этой ветви.

github llama.cpp · 18 ч назад · 2 просмотра

llama.cpp b10989 включает AllReduce для ROCm и предоставляет мультиплатформенные бинарные файлы

Проект llama.cpp выпустил версию b10989, которая добавляет поддержку включения операций AllReduce в бэкенде ROCm. Это обновление является частью текущей разработки по расширению аппаратной совместимости и возможностей распределённых вычислений для вывода больших языковых моделей.

github llama.cpp · 23 ч назад · 1 просмотр

llama.cpp b10988 добавляет выбор умножения матриц экспертов MoE через OpenCL для спекулятивного декодирования

Проект llama.cpp выпустил сборку b10988, внося изменения в бэкенд OpenCL специально для моделей Mixture of Experts (MoE). Обновление реализует логику выбора умножения матриц экспертов MoE на основе размера пакета во время спекулятивного декодирования и предсказания нескольких токенов.