github llama.cpp · только что · inference

llama.cpp b10738 добавляет ограничение на размер хост-закреплённой памяти для SYCL

Переведено с English → Русский

Проект llama.cpp выпустил версию b10738, предоставляя бинарные файлы для macOS, Linux, Windows, Android и openEuler для CPU, GPU и различных ускорителей.

В релиз включено конкретное обновление поддержки SYCL, ограничивающее максимальный объём выделяемой памяти до 2 ГБ для хост-закреплённой памяти.
Сборки macOS Apple Silicon с KleidiAI в этой версии отключены.
Поддержка CUDA 13 для Windows arm64 включена как предварительная версия.
Бинарные файлы ROCm 7.14 и OpenVINO 2026.3.1 доступны для Ubuntu и Windows.

Это обновление позволяет пользователям получать доступ к последним функциям llama.cpp на поддерживаемом оборудовании, уделяя особое внимание ограничениям памяти в реализациях SYCL.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

lab Hugging Face Blog · 1 ч назад · 1 просмотр Live

Hugging Face выпустила 207 ядер WebGPU и инструмент для браузерного бенчмаркинга

Компания Hugging Face выпустила библиотеку @huggingface/kernels для загрузки и запуска оптимизированных ядер WebGPU из Hugging Face Hub, а также начальную коллекцию из 207 ядер. В релиз также вошёл Fleet — набор для браузерного бенчмаркинга GPU, который собирает данные о производительности и корректности с устройств пользователей.

github llama.cpp · 2 ч назад · 11 просмотров

llama.cpp b10737 исправляет сохранение/восстановление состояния qwen4exp и отключает -sm tensor

Проект llama.cpp выпустил сборку b10737, которая устраняет критические ошибки в поддержке архитектуры qwen4exp. Обновление решает проблемы с сохранением последовательного состояния и предотвращает сбои CUDA при загрузке модели.

github llama.cpp · 11 ч назад · 2 просмотра

llama.cpp b10730 оптимизирует обработку промптов для Qwen4exp путём суммирования голов индексатора по срезам

Проект llama.cpp выпустил сборку b10730, включающую оптимизации для архитектуры модели Qwen4exp. Основное изменение заключается в суммировании голов индексатора по срезам вместо использования операции транспонирования и sum_rows, что снижает накладные расходы на копирование памяти.

github llama.cpp · 19 ч назад · 3 просмотра

llama.cpp b10727 добавляет поддержку конкатенации для квантованных типов

Проект llama.cpp выпустил сборку b10727, которая вводит поддержку конкатенации для квантованных типов данных. Это обновление получило помощь от DeepSeek-V4-Flash-0731 и включает бинарные файлы для macOS, Linux, Windows, Android и openEuler на различных аппаратных бэкендах, включая CPU, CUDA, ROCm и Vulkan.

github llama.cpp · 21 ч назад · 6 просмотров

llama.cpp b10726 ускоряет обработку промптов для больших пакетов IQ-моделей с помощью AVX2

Проект llama.cpp выпустил версию b10726, которая вносит значительные оптимизации производительности для обработки больших размеров пакетов в IQ-квантованных моделях. Основное обновление использует инструкции AVX2 для ускорения сеточных IQ-квантований через пакетные операции GEMM.