github llama.cpp · только что · inference

llama.cpp b10766 добавляет поддержку зрения DeepSeek 4

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10766, которая включает исправление для правильной поддержки входного зрения для модели DeepSeek 4.

Правильно поддерживает входное зрение для DeepSeek 4.
Доступные бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.

Это обновление позволяет пользователям запускать DeepSeek 4 с возможностями зрения на последних сборках llama.cpp для поддерживаемых платформ.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp b10762 добавляет поддержку DeepSeek-V4-Flash-Vision-Exp

Проект llama.cpp выпустил сборку b10762, которая добавляет поддержку модели DeepSeek-V4-Flash-Vision-Exp. Это обновление также включает обработку минимального и максимального количества токенов через интерфейс командной строки.

github llama.cpp · 9 ч назад · 1 просмотр

llama.cpp b10758 добавляет слияние MUL_MAT и MUL_MAT_ID для Hexagon

Проект llama.cpp выпустил сборку b10758, внедряющую возможности слияния MUL_MAT и MUL_MAT_ID для DSP Hexagon. Это обновление также включает несколько исправлений для повышения стабильности и производительности на оборудовании Qualcomm.

github llama.cpp · 9 ч назад · 3 просмотра

llama.cpp b10759 избегает инициализации типа буфера KleidiAI при диспетчеризации

Проект llama.cpp выпустил сборку b10759, которая включает исправление для предотвращения инициализации типа буфера KleidiAI при диспетчеризации.

github llama.cpp · 11 ч назад · 1 просмотр

llama.cpp b10756 ограничивает запрос расширения Vulkan shader_bfloat16

Проект llama.cpp выпустил сборку b10756, которая изменяет поведение бэкенда Vulkan, чтобы запрашивать расширение VK_KHR_shader_bfloat16 только при его поддержке оборудованием.

github llama.cpp · 11 ч назад · 1 просмотр

llama.cpp b10757 улучшает производительность mat-vec IQ3_S для Vulkan при больших размерах батча

Проект llama.cpp выпустил сборку b10757, которая включает специфическую оптимизацию для бэкенда Vulkan. Это обновление эффективно обрабатывает большие размеры батча более 4 для умножения матрицы на вектор IQ3_S, когда NUM_COLS больше 4.