github llama.cpp · 1 ч назад · inference

llama.cpp добавляет настройки fa-vec для Apple M3 Max, M5 и M5 Pro

Переведено с English → Русский

Проект llama.cpp добавил записи настроек быстрого вектора внимания (fa-vec) для графических процессоров Apple M3 Max, M5 и M5 Pro с целью повышения производительности Metal.

Настройки для Apple M5 были сгенерированы на машине M5 с использованием типов данных f16 и q8_0.
Записи для Apple M5 Pro охватывают форматы F16, Q4_0 и Q8_0 на 20 ядрах GPU.
Поддержка M3 Max включает конфигурации F16 и Q8_0 на MacBook Pro с 64 ГБ в режиме низкого энергопотребления.

Эти обновления расширяют возможности ускорения Metal для новых архитектур Apple silicon.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp b10665 добавляет поддержку DSpark для Nemotron3.5

Проект llama.cpp выпустил сборку b10665, которая вводит поддержку DSpark для модели Nemotron3.5.

github llama.cpp · 17 ч назад · 7 просмотров

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 1 д назад · 8 просмотров

llama.cpp b10653 добавляет TENSOR_READ_LAZY для загрузки моделей

Проект llama.cpp выпустил сборку b10653, внедряющую функцию TENSOR_READ_LAZY в загрузчик моделей. Это изменение включает добавление функции TENSOR_GET_ROW_LAZY и соответствующего флага командной строки --tensor-read-lazy.

github llama.cpp · 1 д назад · 7 просмотров

llama.cpp b10655 добавляет поддержку LIGHTNING_INDEXER для операций Deepseek V4 в Vulkan

Проект llama.cpp выпустил сборку b10655, которая добавляет поддержку операции LIGHTNING_INDEXER во внутреннем бэкенде Vulkan для обеспечения работы операций Deepseek V4.

github llama.cpp · 2 д назад · 6 просмотров

llama.cpp b10639 исправляет предположение о размере warptile в Vulkan

Проект llama.cpp выпустил сборку b10639, которая включает исправление для бэкенда Vulkan, где ранее warptiles предполагали, что размеры warp меньше или равны 64. Это изменение ограничивает размер warp для обхода проблем с более крупными warp.