github llama.cpp · 2 ч назад · inference

llama.cpp b10816 добавляет настройки fa-vec для M3 и новые бинарники

Переведено с English → Русский

Проект llama.cpp выпустил версию b10816, которая включает обновления бэкенда Metal для устройств на базе Apple Silicon. Выпуск сосредоточен на добавлении оставшихся настроек fast-vector специально для архитектуры чипа M3.

Добавлены записи M3 в таблицу fa_vec_tuned_table.
Включены квантования q4_0, q4_1, q5_0 и q5_1 в ggml-metal-tuning.
Предоставлены бинарники для macOS (Apple Silicon и Intel), iOS, Linux, Windows, Android и openEuler.
Поддерживаются различные бэкенды, включая CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL, CUDA 12/13 и OpenCL Adreno.

Это обновление обеспечивает оптимизированную производительность для оборудования M3, а также расширяет доступность предварительно собранных бинарников на нескольких операционных системах и архитектурах GPU.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 16 ч назад · 1 просмотр

llama.cpp b10796 добавляет n_expert_used_max для исправления загрузки Nemotron-3-Puzzle

Проект llama.cpp выпустил сборку b10796, которая включает изменение в загрузчике моделей для поддержки моделей с различным количеством экспертов на слой.

github llama.cpp · 1 д назад · 3 просмотра

llama.cpp b10791 добавляет оптимизации OpenCL для квантованной lm_head и декодирования GEMV

Проект llama.cpp выпустил версию b10791, внедряя значительные оптимизации OpenCL для квантованных голов языковых моделей и операций декодирования GEMV. Это обновление также включает улучшения GEMM для средних пакетов, относящиеся к спекулятивному декодированию и предсказанию нескольких токенов.

github llama.cpp · 2 д назад · 3 просмотра

ggml-org выпускает llama.cpp b10774 с исправлением кэша KV для дообучения

Проект ggml-org выпустил версию b10774 библиотеки llama.cpp, которая включает исправление проблемы с отсутствием кэша KV в модуле дообучения.

github llama.cpp · 2 д назад · 9 просмотров

llama.cpp b10763 включает preserve_reasoning по умолчанию

Проект llama.cpp выпустил сборку b10763, которая изменяет поведение по умолчанию ключевого аргумента `preserve_reasoning` шаблона чата. Сервер теперь логирует фактическое состояние этого kwarg и выдает предупреждение, когда оно включено по умолчанию в шаблонах, которые это поддерживают.

github llama.cpp · 2 д назад · 3 просмотра

llama.cpp b10760 исправляет нестабильность вывода Qwen3-tts-0.6b

Проект llama.cpp выпустил сборку b10760, которая включает специфические исправления для модели Qwen3-tts-0.6B для предотвращения численной нестабильности во время вывода.