github llama.cpp · 1 ч назад · inference

llama.cpp b10085 исправляет привязку Qwen3-VL за счёт выравнивания интерполяции позиционных встраиваний

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10085, которая включает исправление интерполяции позиционных встраиваний для модели зрения Qwen3-VL с целью устранения несоответствий координат привязки.

Изменение переключает метод интерполяции с билинейной+антиалиасинг по умолчанию (align_corners=False) на align_corners=True, что соответствует эталонной реализации transformers.
Это исправляет проблемы масштабирования координат привязки, которые ранее увеличивались с размером изображения и различались по осям для неквадратных изображений.
Бинарные файлы доступны для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) и openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 д назад · 1 просмотр

llama.cpp b10069 добавляет поддержку широковещательной передачи OpenCL для Adreno MUL_MAT

Проект llama.cpp выпустил сборку b10069, которая включает специфические обновления OpenCL для графических процессоров Qualcomm Adreno. Основное изменение заключается в поддержке операций широковещательной передачи для ядра Adreno MUL_MAT и учете смещений представления для варианта Q8_0 MUL_MAT, что позволяет включить многопоточную функциональность в llama-server.

github llama.cpp · 4 д назад · 1 просмотр

llama.cpp b10068 вращает внедрённый K/V кэш для DFlash

Проект llama.cpp выпустил версию b10068, которая вносит изменения в реализацию модели DFlash. Обновление изменяет src/models/dflash.cpp, чтобы вращать внедрённый ключ/значение (K/V) кэш при использовании K/V квантования.

github llama.cpp · 4 д назад · 1 просмотр

llama.cpp b10067 исключает таблицу маршрутизации DeepSeek-V4 из квантования

Проект llama.cpp выпустил версию b10067, которая включает исправление для инструмента `llama-quantize`, позволяющее корректно обрабатывать модели DeepSeek-V4. Обновление предотвращает попытку конвертера преобразовать тензор `ffn_gate_tid2eid`, таблицу индексов токенов к экспертам типа i32, в тип float.

github llama.cpp · 5 д назад

llama.cpp b10066 добавляет поддержку ядра kernel_gemm_moe_q6_k_f32_ns через OpenCL

Проект llama.cpp выпустил версию b10066, добавившую поддержку ядра `kernel_gemm_moe_q6_k_f32_ns` через OpenCL. Это обновление позволяет загружать и использовать эту конкретную библиотеку бинарных ядер в рамках фреймворка.

github llama.cpp · 5 д назад · 5 просмотров

Выпуск llama.cpp b10064 с оптимизацией транспонирования OpenCL

Проект llama.cpp выпустил версию b10064, которая включает изменение в бэкенде OpenCL. Это обновление изменяет формат квантования q4_K путем транспонирования noshuffle scales для обеспечения согласованных чтений.