github llama.cpp · 1 ч назад · inference

llama.cpp b10207 добавляет поддержку SYCL для отсутствующих типов в cpy

Переведено с English → Русский

Проект llama.cpp выпустил версию b10207, которая включает pull request для добавления поддержки SYCL для ранее неподдерживаемых типов данных в операции cpy.

Обновление устраняет отсутствие поддержки типов в функциональности cpy через PR #26005.
Бинарные дистрибутивы предоставляются для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), Android и openEuler.
Поддержка macOS Apple Silicon с KleidiAI в этом релизе временно отключена.

Этот релиз расширяет аппаратную совместимость llama.cpp за счёт включения выполнения SYCL для дополнительных типов данных.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10206 требует одинаковых типов кэшей K и V для моделей DeepSeek V4 и MLA

Проект llama.cpp выпустил версию b10206, которая вносит специфические изменения в обработку ключ-значительных кэшей в механизмах внимания. Обновление гарантирует, что типы кэшей K и V остаются согласованными для моделей DeepSeek V4.

github llama.cpp · 5 ч назад

Выпуск llama.cpp b10202 с объединением SYCL RMS_NORM

Проект llama.cpp выпустил версию b10202, в которой представлена оптимизация SYCL, объединяющая операции RMS_NORM и MUL.

github llama.cpp · 7 ч назад · 1 просмотр

llama.cpp b10201 улучшает flash attention для квантованного KV при длинных контекстах

Проект llama.cpp выпустил версию b10201, которая включает ключевое улучшение бэкенда ggml-webgpu. Это обновление повышает производительность flash attention при обработке квантованных ключ-значительных кэшей во время генерации длинных контекстов.

github llama.cpp · 21 ч назад · 1 просмотр

llama.cpp b10198 добавляет поддержку Vulkan для квантованного конкатенирования

Проект llama.cpp выпустил сборку b10198, которая внедряет поддержку операций квантованного конкатенирования во внутреннем бэкенде Vulkan.

github llama.cpp · 2 д назад · 1 просмотр

llama.cpp b10180 добавляет непрерывный быстрый путь и 32-битную индексную арифметику для SYCL унарных операций

Проект llama.cpp выпустил сборку b10180, внедряя оптимизации производительности для бэкенда SYCL. Обновление реализует непрерывный быстрый путь и переключает индексную арифметику поэлементно на использование fastdiv с 32-битными целыми числами.