github llama.cpp · 1 ч назад · inference

llama.cpp b10763 включает preserve_reasoning по умолчанию

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10763, которая изменяет поведение по умолчанию ключевого аргумента `preserve_reasoning` шаблона чата. Сервер теперь логирует фактическое состояние этого kwarg и выдает предупреждение, когда оно включено по умолчанию в шаблонах, которые это поддерживают.

Метод `--chat-template-kwargs` для установки этой опции устарел в пользу явных флагов, таких как `--reasoning-preserve` или `--no-reasoning-preserve`.
Предварительно собранные бинарные файлы доступны для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) и openEuler.
В релиз включены бинарные файлы UI для всех поддерживаемых платформ.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 8 ч назад · 1 просмотр

llama.cpp b10760 исправляет нестабильность вывода Qwen3-tts-0.6b

Проект llama.cpp выпустил сборку b10760, которая включает специфические исправления для модели Qwen3-tts-0.6B для предотвращения численной нестабильности во время вывода.

github llama.cpp · 23 ч назад · 1 просмотр

llama.cpp b10751 объединяет взвешенное снижение экспертов MoE для CUDA

Проект llama.cpp выпустил сборку b10751, которая вводит объединённое ядро для взвешенного снижения экспертов MoE (Mixture of Experts) на CUDA. Эта оптимизация заменяет предыдущую базовую реализацию, выполнявшую два физических ядра, одним ядром взвешенного снижения, чтобы уменьшить промежуточный трафик в глобальной памяти.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10750 оптимизирует поиск n-грамм в KV-кэше для увеличения пропускной способности на 4,9%

Проект llama.cpp выпустил сборку b10750, которая рефакторит управление ячейками ключа и значения для улучшения индексации позиций последовательности и поиска истории n-грамм.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10742 добавляет настройки fa-vec для A18 Pro

Проект llama.cpp выпустил версию b10742, которая включает новую функцию добавления быстрых векторных (fa-vec) настроек специально для чипа Apple A18 Pro, установленного в MacBook Neo.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10739 добавляет настройку fa-vec для M2 Max

Проект llama.cpp выпустил версию b10739, которая включает специфическую оптимизацию производительности для аппаратного обеспечения Apple M2 Max. Это обновление вводит быструю настройку векторов внимания (fa-vec), адаптированную под 30 GPU-ядер M2 Max.