github llama.cpp · 14 ч назад · inference

llama.cpp b11111 добавляет ядра оптимизации flash attention для Intel Xe

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11111, которая внедряет основанные на Vulkan ядра оптимизации flash attention для путей split k в архитектурах Xe-LPG Plus, Xe2 и Xe3.

Добавлена оптимизация ядра Intel FA для пути split k в Vulkan.
Обновлен хост-код для обработки выбора пути ядра split k FA.
Исправлены сбои тестов операторов A770 на Linux путем использования симметричного coopMatMulAdd() в шейдере flash_attn_decode_phase_1.
Решены проблемы с editorconfig в файле flash_attn_decode_phase_2.comp.

Это обновление обеспечивает оптимизированные возможности вывода для видеокарт Intel Arc и решает специфические проблемы совместимости драйверов на системах Linux.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 17 ч назад · 9 просмотров

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.

github llama.cpp · 20 ч назад · 11 просмотров

Выпуск llama.cpp b11101 позволяет многократные вызовы find_package для llama

Проект llama.cpp выпустил версию b11101, которая включает исправление системы сборки, позволяющее многократные вызовы find_package для библиотеки llama.

lab Hugging Face Blog · 20 ч назад · 10 просмотров

Transformers добавляет поддержку GGUF через ядра ggml для локального вывода

Библиотека Transformers от Hugging Face теперь поддерживает загрузку квантованных моделей в формате GGUF, используя базовые ядра ggml для достижения производительности, близкой к llama.cpp. Эта интеграция позволяет разработчикам запускать квантованные контрольные точки непосредственно через стандартный API на основе PyTorch на поддерживаемом оборудовании.

github llama.cpp · 1 д назад · 11 просмотров

llama.cpp b11097 добавляет бинарный ядро dp4a для A8 Q4_0 non-MoE

Проект llama.cpp выпустил версию b11097, которая вводит бинарное ядро OpenCL для формата A8 Q4_0 non-MoE dp4a.

github llama.cpp · 2 д назад · 12 просмотров

llama.cpp b11078 добавляет управление параметрами генерации через переменные окружения

Проект llama.cpp выпустил сборку b11078, которая внедряет поддержку переменных окружения для настройки ключевых параметров генерации в компоненте `llama-server`. Это обновление позволяет пользователям устанавливать температуру, top-p, min-p и различные штрафы через переменные `LLAMA_ARG_*`.