github llama.cpp · 1 д назад · inference

llama.cpp b11097 добавляет бинарный ядро dp4a для A8 Q4_0 non-MoE

Переведено с English → Русский

Проект llama.cpp выпустил версию b11097, которая вводит бинарное ядро OpenCL для формата A8 Q4_0 non-MoE dp4a.

Обновление добавляет поддержку конкретного формата квантования A8 Q4_0 через новое ядро dp4a.
Бинарные файлы предоставлены для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL), Android и openEuler.
В артефакты выпуска также включены iOS XCFramework и автономная сборка UI.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b11111 добавляет ядра оптимизации flash attention для Intel Xe

Проект llama.cpp выпустил сборку b11111, которая внедряет основанные на Vulkan ядра оптимизации flash attention для путей split k в архитектурах Xe-LPG Plus, Xe2 и Xe3.

github llama.cpp · 17 ч назад · 9 просмотров

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.

github llama.cpp · 20 ч назад · 11 просмотров

Выпуск llama.cpp b11101 позволяет многократные вызовы find_package для llama

Проект llama.cpp выпустил версию b11101, которая включает исправление системы сборки, позволяющее многократные вызовы find_package для библиотеки llama.

lab Hugging Face Blog · 20 ч назад · 10 просмотров

Transformers добавляет поддержку GGUF через ядра ggml для локального вывода

Библиотека Transformers от Hugging Face теперь поддерживает загрузку квантованных моделей в формате GGUF, используя базовые ядра ggml для достижения производительности, близкой к llama.cpp. Эта интеграция позволяет разработчикам запускать квантованные контрольные точки непосредственно через стандартный API на основе PyTorch на поддерживаемом оборудовании.

github llama.cpp · 2 д назад · 12 просмотров

llama.cpp b11078 добавляет управление параметрами генерации через переменные окружения

Проект llama.cpp выпустил сборку b11078, которая внедряет поддержку переменных окружения для настройки ключевых параметров генерации в компоненте `llama-server`. Это обновление позволяет пользователям устанавливать температуру, top-p, min-p и различные штрафы через переменные `LLAMA_ARG_*`.