github llama.cpp · 3 ч назад · inference

llama.cpp b10076 векторизует get_rows с копированием int4 для ускорения на 27%

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10076, которая вносит оптимизацию производительности в бэкенд CUDA за счёт векторизации операции `get_rows` с использованием копирования int4. Это изменение выносит работу, не зависящую от строки, из цикла по элементам, и добавляет векторизованный путь, копирующий 16 байт на поток для непрерывных данных одного типа.

Реализация контролируется на этапе компиляции и выполнения, требуя выравнивания по 16 байтам и определённых условий шага для обеспечения корректности. Вентиль загрузки (occupancy gate) предотвращает регрессию при малых сборах одной строки, оставляя их на скалярном пути. На Strix Halo (gfx1151) эта оптимизация снизила латентность сбора рекуррентного состояния DeltaNet с 18.6 мкс до 13.0 мкс.

Релиз включает бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL и OpenCL.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

media Hugging Face Forums · 3 д назад · 2 просмотра

zhongkaifu выпустил TensorSharp, нативный движок вывода LLM для .NET с поддержкой GGUF

zhongkaifu выпустил TensorSharp — движок локального вывода LLM с открытым исходным кодом, полностью написанный на C# и поддерживающий Windows, macOS и Linux. Движок работает с GGUF-моделями от Unsloth, включая Gemma 4 и Qwen 3.6 с мультимодальными возможностями, предоставляя API, совместимые с OpenAI и Ollama.

media Hugging Face Forums · 1 д назад · 1 просмотр

Производственные голосовые агенты с локальными LLM сталкиваются с устойчивыми задержками и ограничениями контекста

Команда, использующая два производственных голосовых агента в Испании на базе Retell AI, Ollama и локальных моделей на RTX 4000 Ada, сообщает, что, несмотря на улучшение качества разговора, основная проблема задержки остаётся нерешённой. Главный ограничивающий фактор — тайм-аут ~3 секунды в Retell AI; если LLM не успевает сгенерировать первый токен в это окно, соединение разрывается, что после двух переподключений приводит к завершению вызова.

github llama.cpp · 2 д назад · 1 просмотр

llama.cpp b10069 добавляет поддержку широковещательной передачи OpenCL для Adreno MUL_MAT

Проект llama.cpp выпустил сборку b10069, которая включает специфические обновления OpenCL для графических процессоров Qualcomm Adreno. Основное изменение заключается в поддержке операций широковещательной передачи для ядра Adreno MUL_MAT и учете смещений представления для варианта Q8_0 MUL_MAT, что позволяет включить многопоточную функциональность в llama-server.

github llama.cpp · 3 д назад · 1 просмотр

llama.cpp b10068 вращает внедрённый K/V кэш для DFlash

Проект llama.cpp выпустил версию b10068, которая вносит изменения в реализацию модели DFlash. Обновление изменяет src/models/dflash.cpp, чтобы вращать внедрённый ключ/значение (K/V) кэш при использовании K/V квантования.

github llama.cpp · 3 д назад · 1 просмотр

llama.cpp b10067 исключает таблицу маршрутизации DeepSeek-V4 из квантования

Проект llama.cpp выпустил версию b10067, которая включает исправление для инструмента `llama-quantize`, позволяющее корректно обрабатывать модели DeepSeek-V4. Обновление предотвращает попытку конвертера преобразовать тензор `ffn_gate_tid2eid`, таблицу индексов токенов к экспертам типа i32, в тип float.