github llama.cpp · 2 д назад · inference

llama.cpp b11073 объединяет загрузки softmax MKL-FA в SYCL

Переведено с English → Русский

Проект llama.cpp выпустил версию b11073, которая включает изменение в бэкенде SYCL. Это обновление объединяет загрузки softmax MKL-FA вместо назначения одного work-item на строку.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu с CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO и SYCL FP32/FP16), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android и openEuler.
В дистрибутив также включен iOS XCFramework.

В примечаниях к выпуску не указаны улучшения производительности или преимущества для пользователей от этого изменения.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

github llama.cpp · 14 ч назад · 11 просмотров

llama.cpp b11111 добавляет ядра оптимизации flash attention для Intel Xe

Проект llama.cpp выпустил сборку b11111, которая внедряет основанные на Vulkan ядра оптимизации flash attention для путей split k в архитектурах Xe-LPG Plus, Xe2 и Xe3.

github llama.cpp · 17 ч назад · 9 просмотров

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.

github llama.cpp · 20 ч назад · 11 просмотров

Выпуск llama.cpp b11101 позволяет многократные вызовы find_package для llama

Проект llama.cpp выпустил версию b11101, которая включает исправление системы сборки, позволяющее многократные вызовы find_package для библиотеки llama.

lab Hugging Face Blog · 21 ч назад · 10 просмотров

Transformers добавляет поддержку GGUF через ядра ggml для локального вывода

Библиотека Transformers от Hugging Face теперь поддерживает загрузку квантованных моделей в формате GGUF, используя базовые ядра ggml для достижения производительности, близкой к llama.cpp. Эта интеграция позволяет разработчикам запускать квантованные контрольные точки непосредственно через стандартный API на основе PyTorch на поддерживаемом оборудовании.