github llama.cpp · 2 д назад · inference

llama.cpp b11018 исправляет ошибку выделения памяти SYCL на Arc B70

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11018, которая включает исправление ошибки выделения памяти, возникающей при использовании GPU Intel Arc B70 с бэкендом SYCL.

Устраняет проблему, при которой выделение памяти завершалось ошибкой для рабочих нагрузок, превышающих 19.3GB на Arc B70.
Предоставляет двоичные файлы для macOS (Apple Silicon и Intel), Linux (CPU, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA, Vulkan, OpenCL, SYCL, ROCm, OpenVINO), Android и UI.
Включает специальные сборки для Ubuntu x64/arm64/s390x с различной поддержкой ускорителей, включая CUDA 12/13, ROCm 10.0 и OpenVINO 2026.3.1.

Это обновление обеспечивает стабильную работу на оборудовании Intel Arc B70 за счет исправления логики обработки памяти в реализации SYCL.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b11044 обновляет hexagon im2col и выпускает бинарники

Проект llama.cpp выпустил версию b11044, которая включает обновление бэкенда hexagon для улучшения операций image-to-column (im2col). Релиз предоставляет предварительно собранные бинарные файлы для macOS, Linux, Windows, Android и openEuler для процессоров, графических процессоров и других аппаратных ускорителей.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b11045 добавляет поддержку операции ROLL для бэкенда Hexagon

Проект llama.cpp выпустил версию b11045, которая добавляет поддержку операции ROLL в бэкенде Hexagon.

github llama.cpp · 12 ч назад · 1 просмотр

llama.cpp b11035 добавляет ядра IQ3_S MMQ matmul для Vulkan

Проект llama.cpp выпустил версию b11035, добавившую поддержку ядер умножения матриц IQ3_S MMQ в бэкенде Vulkan.

github llama.cpp · 1 д назад · 5 просмотров

llama.cpp b11026 пропускает gate_up_exps для Qwen35MoE

Проект llama.cpp выпустил сборку b11026, которая вносит изменение, позволяющее пропускать gate_up_exps при установке флага TENSOR_SKIP. Эта модификация специально необходима для моделей Qwen35MoE, где MTP тензоры объединены, но не загружены.