github llama.cpp · 20 ч назад · inference

Выпуск llama.cpp b11101 позволяет многократные вызовы find_package для llama

Переведено с English → Русский

Проект llama.cpp выпустил версию b11101, которая включает исправление системы сборки, позволяющее многократные вызовы find_package для библиотеки llama.

cmake: разрешены многократные вызовы find_package для llama (PR #29228)
Двоичные файлы macOS/iOS предоставлены для Apple Silicon (arm64), Intel (x64) и iOS XCFramework; поддержка KleidiAI отключена.
Двоичные файлы Linux доступны для Ubuntu x64, arm64 и s390x для CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL и Snapdragon бэкендов.
Выпущены двоичные файлы Android arm64 для CPU и Snapdragon (CPU, Adreno GPU, Hexagon NPU).
Двоичные файлы Windows предоставлены для x64 и arm64 CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL и ROCm 10.0.
Поддержка openEuler в значительной степени отключена, перечислены только конкретные конфигурации 310p и 910b (ACL Graph).

Этот выпуск предоставляет обновленные двоичные файлы для широкого спектра аппаратных ускорителей и операционных систем, наряду с исправлением cmake.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 14 ч назад · 11 просмотров

llama.cpp b11111 добавляет ядра оптимизации flash attention для Intel Xe

Проект llama.cpp выпустил сборку b11111, которая внедряет основанные на Vulkan ядра оптимизации flash attention для путей split k в архитектурах Xe-LPG Plus, Xe2 и Xe3.

github llama.cpp · 17 ч назад · 9 просмотров

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.

lab Hugging Face Blog · 20 ч назад · 10 просмотров

Transformers добавляет поддержку GGUF через ядра ggml для локального вывода

Библиотека Transformers от Hugging Face теперь поддерживает загрузку квантованных моделей в формате GGUF, используя базовые ядра ggml для достижения производительности, близкой к llama.cpp. Эта интеграция позволяет разработчикам запускать квантованные контрольные точки непосредственно через стандартный API на основе PyTorch на поддерживаемом оборудовании.

github llama.cpp · 1 д назад · 11 просмотров

llama.cpp b11097 добавляет бинарный ядро dp4a для A8 Q4_0 non-MoE

Проект llama.cpp выпустил версию b11097, которая вводит бинарное ядро OpenCL для формата A8 Q4_0 non-MoE dp4a.

github llama.cpp · 2 д назад · 12 просмотров

llama.cpp b11078 добавляет управление параметрами генерации через переменные окружения

Проект llama.cpp выпустил сборку b11078, которая внедряет поддержку переменных окружения для настройки ключевых параметров генерации в компоненте `llama-server`. Это обновление позволяет пользователям устанавливать температуру, top-p, min-p и различные штрафы через переменные `LLAMA_ARG_*`.