github llama.cpp · 5 ч назад · inference

llama.cpp b10715 объединяет кодировщик DFlash с инъекцией KV-кэша

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10715, которая включает ключевую оптимизацию реализации DFlash. Кодировщик DFlash теперь напрямую объединён с процессом инъекции в KV-кэш во время декодирования.

Ранее запуск кодировщика как отдельного вызова `llama_encode` требовал кругового перехода устройства на хост для его вывода перед тем, как инъекционное декодирование могло снова загрузить его, а также второго построения графа для каждого такого цикла. Это изменение встраивает кодировщик в ветвь эмбеддингов декодера, позволяя целевым признакам подаваться напрямую в единый вызов `llama_decode`.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b10721 исправляет сбой WebGPU и добавляет поддержку CUDA 13.4 для Windows

Проект llama.cpp выпустил сборку b10721, которая включает критическое исправление для бэкенда WebGPU и расширяет поддержку оборудования на Windows.

github llama.cpp · 2 ч назад

llama.cpp b10718 расширяет слияние MOE на specdec и многотокенный режим

Проект llama.cpp выпустил версию b10718, которая включает значительное обновление бэкенда CUDA. Наиболее заметным изменением является расширение слияния Mixture of Experts (MOE) для поддержки спекулятивного декодирования (specdec), что устраняет предыдущие ограничения, при которых слияние MOE glu и topk-router было ограничено обработкой только одного токена за раз.

github llama.cpp · 7 ч назад · 1 просмотр

llama.cpp b10714 настраивает строки mat-vec Vulkan для Strix Halo

Проект llama.cpp выпустил сборку b10714, включающую специфические оптимизации для бэкенда Vulkan, ориентированные на оборудование AMD Strix Halo. Обновление корректирует количество строк умножения матрицы на вектор для улучшения производительности при пакетном выводе.

github llama.cpp · 13 ч назад · 3 просмотра

llama.cpp b10706 добавляет поддержку SWIGLU_CLAMP и шейдеров Vulkan

Проект llama.cpp выпустил сборку b10706, внедряя новый функционал в бэкенд ggml. Это обновление включает добавление SWIGLU_CLAMP и новую реализацию шейдера Vulkan.

github llama.cpp · 13 ч назад · 9 просмотров

llama.cpp b10707 оптимизирует сканирование ячеек KV-кэша для ускорения генерации

Проект llama.cpp выпустил версию b10707, включающую оптимизацию производительности обработки ключ-значительного (KV) кэша. Обновление изменяет функцию `for_each_token_in`, чтобы прекратить сканирование после того, как все последовательности в конкретной ячейке были просмотрены, вместо итерации по всем возможным максимальным последовательностям.