github llama.cpp · 9 ч назад · inference

llama.cpp b10759 избегает инициализации типа буфера KleidiAI при диспетчеризации

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10759, которая включает исправление для предотвращения инициализации типа буфера KleidiAI при диспетчеризации.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL, OpenVINO), Android и openEuler.

Поддержка KleidiAI явно отключена для macOS Apple Silicon в этой сборке.

Предварительные версии для Windows arm64 с CUDA 13 включены наряду со стандартными релизами CUDA 12.4 и 13.3.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp b10766 добавляет поддержку зрения DeepSeek 4

Проект llama.cpp выпустил сборку b10766, которая включает исправление для правильной поддержки входного зрения для модели DeepSeek 4.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b10762 добавляет поддержку DeepSeek-V4-Flash-Vision-Exp

Проект llama.cpp выпустил сборку b10762, которая добавляет поддержку модели DeepSeek-V4-Flash-Vision-Exp. Это обновление также включает обработку минимального и максимального количества токенов через интерфейс командной строки.

github llama.cpp · 9 ч назад · 1 просмотр

llama.cpp b10758 добавляет слияние MUL_MAT и MUL_MAT_ID для Hexagon

Проект llama.cpp выпустил сборку b10758, внедряющую возможности слияния MUL_MAT и MUL_MAT_ID для DSP Hexagon. Это обновление также включает несколько исправлений для повышения стабильности и производительности на оборудовании Qualcomm.

github llama.cpp · 11 ч назад · 1 просмотр

llama.cpp b10756 ограничивает запрос расширения Vulkan shader_bfloat16

Проект llama.cpp выпустил сборку b10756, которая изменяет поведение бэкенда Vulkan, чтобы запрашивать расширение VK_KHR_shader_bfloat16 только при его поддержке оборудованием.

github llama.cpp · 11 ч назад · 1 просмотр

llama.cpp b10757 улучшает производительность mat-vec IQ3_S для Vulkan при больших размерах батча

Проект llama.cpp выпустил сборку b10757, которая включает специфическую оптимизацию для бэкенда Vulkan. Это обновление эффективно обрабатывает большие размеры батча более 4 для умножения матрицы на вектор IQ3_S, когда NUM_COLS больше 4.