github llama.cpp · 1 ч назад · inference

llama.cpp b10182 переносит обработку suppress_tokens в common/sampling

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10182, которая включает структурное изменение в управлении подавлением токенов. Основное изменение заключается в переносе логики обработки `suppress_tokens` в модуль `common/sampling`.

Функция `has_logit_bias` была удалена из кодовой базы.
Выпуск устраняет проблемы безопасности, связанные с предыдущей реализацией.
Бинарные файлы предоставлены для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO, SYCL, HIP) и openEuler.

Это обновление консолидирует логику сэмплирования и устраняет конкретные проблемы безопасности в механизме подавления токенов.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10180 добавляет непрерывный быстрый путь и 32-битную индексную арифметику для SYCL унарных операций

Проект llama.cpp выпустил сборку b10180, внедряя оптимизации производительности для бэкенда SYCL. Обновление реализует непрерывный быстрый путь и переключает индексную арифметику поэлементно на использование fastdiv с 32-битными целыми числами.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10181 отключает MMQ на устройствах с менее чем 48 КиБ общей памяти

Проект llama.cpp выпустил сборку b10181, которая включает исправление в ggml-cuda для отключения квантования матричного умножения (MMQ) на GPU с менее чем 48 КиБ разделяемой памяти на блок. Ранее конфигурации MMQ предполагали минимальный объем в 48 КиБ, что приводило к фатальным ошибкам на устройствах, таких как NVIDIA Pascal и Moore Threads MTT S70, где размер тайла превышал доступную память.

media Hugging Face Forums · 4 ч назад

Джейсон Ван Фам документирует многошаговую жадную деградацию Gemma 4 при буквенных ограничениях

Джейсон Ван Фам и соинженер Grok (xAI) опубликовали диагностический отчёт, описывающий режим отказа, близкий к «ванильному», в многошаговом сценарии на платформе Hydrodynamic Swarm при использовании пользовательского пути инструкций Gemma 4. Исследование показывает, что сочетание жадного декодирования с большим бюджетом токенов и буквенными ограничениями вызывает классическую деградацию текста, включая повторения и орфографический шум.

media Hugging Face Forums · 5 ч назад

Hugging Face исправляет DynamicCache для предотвращения некорректного вывода в generate()

Ошибка в функции `generate()` от Hugging Face приводит к некорректным результатам, когда `past_key_values` представляет собой созданный вручную объект `DynamicCache`. Эта проблема затрагивает методы сжатия KV-кэша, такие как SnapKV, H2O и KIVI, которые восстанавливают кэш на основе данных префилла. Корневая причина заключается в отсутствии передачи позиционного контекста, что приводит к потере точности на 10,7 процентных пункта на модели Qwen3-VL-8B.

github llama.cpp · 6 ч назад · 1 просмотр

llama.cpp b10178 добавляет трассировочное логирование для проверки сходства слотов

Проект llama.cpp выпустил сборку b10178, которая вводит трассировочное логирование для проверки сходства слотов внутри компонента сервера. Это обновление добавляет детальное логирование в `server-context.cpp` во время выбора слота кэша запросов, конкретно фиксируя причины пропуска и детали вычисления сходства.