github llama.cpp · 1 ч назад · inference

llama.cpp b11147 добавляет A8 Q6_K non-MoE dp4a OpenCL ядро

Переведено с English → Русский

Проект llama.cpp выпустил версию b11147, которая представляет новое бинарное ядро для OpenCL. Это обновление специально добавляет поддержку конфигурации A8 Q6_K non-MoE dp4a.

Добавлено бинарное ядро A8 Q6_K non-MoE dp4a для OpenCL.
Предоставлены двоичные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, Adreno, CUDA, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.

Это обновление позволяет пользователям запускать llama.cpp на широком спектре аппаратных платформ с последними оптимизациями ядра.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp b11132 добавляет поддержку бэкбона черновиков Gemma 4 DSpark

Проект llama.cpp выпустил версию b11132, добавив поддержку бэкбона черновиков Gemma 4 DSpark. Это обновление включает возможности конвертации GGUF и выполнения для полных механизмов внимания и SWA в черновиках Gemma 4, включая связанные выходные веса и метаданные бэкбона типа boolean.

github llama.cpp · 11 ч назад · 12 просмотров

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

github llama.cpp · 1 д назад · 13 просмотров

llama.cpp b11111 добавляет ядра оптимизации flash attention для Intel Xe

Проект llama.cpp выпустил сборку b11111, которая внедряет основанные на Vulkan ядра оптимизации flash attention для путей split k в архитектурах Xe-LPG Plus, Xe2 и Xe3.

github llama.cpp · 1 д назад · 11 просмотров

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.

github llama.cpp · 1 д назад · 14 просмотров

Выпуск llama.cpp b11101 позволяет многократные вызовы find_package для llama

Проект llama.cpp выпустил версию b11101, которая включает исправление системы сборки, позволяющее многократные вызовы find_package для библиотеки llama.