github llama.cpp · 4 д назад · inference

llama.cpp b11206 добавляет поддержку сэмплера бэкенда Hexagon

Переведено с English → Русский

Проект llama.cpp выпустил версию b11206, которая добавляет поддержку сэмплера бэкенда Hexagon. Это обновление включает несколько изменений в конвейере сэмплирования и операциях на NPU Hexagon.

Добавлены операции STEP и SUM в hex-sampler.
Обновлен CPY для поддержки случаев сэмплирования.
Добавлена поддержка чанкования в hex-binary для обработки больших логитов.
Реализована базовая версия ARGMAX для hex-argmax.
Исправлены проблемы индексации при трансляции dim 1 по срезам dim 2.
Отключен авто-векторизатор для использования явных подсказок в критических циклах.

Релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для различных аппаратных бэкендов, включая CPU, GPU и NPU.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b11298 добавляет поддержку dflash для конвертации и извлечения признаков

Проект llama.cpp выпустил сборку b11298, которая добавляет поддержку формата dflash. Это обновление позволяет как конвертировать модели в этот формат, так и выполнять последующее извлечение признаков.

github llama.cpp · 7 ч назад · 2 просмотра

llama.cpp b11284 исправляет GET_ROWS в OpenVINO для представлений квантованных весов

Проект llama.cpp выпустил сборку b11284, которая включает исправление бэкенда OpenVINO для корректной обработки операций GET_ROWS на представлениях квантованных весов.

github llama.cpp · 11 ч назад · 2 просмотра

llama.cpp добавляет поддержку GLM-5.3-Flash с исправлениями k-pool и MTP

Проект llama.cpp добавил начальную поддержку архитектуры модели GLM-5.3-Flash (GLM5-Next), включая миграцию на гибридную индексацию памяти и ранние возможности Multi-Token Prediction (MTP).

github llama.cpp · 13 ч назад · 2 просмотра

llama.cpp b11272 оптимизирует операцию конкатенации Hexagon

Проект llama.cpp выпустил сборку b11272, включающую оптимизации для бэкенда Hexagon. Основное изменение сосредоточено на оптимизации операции конкатенации для повышения производительности на оборудовании Qualcomm Snapdragon.

github llama.cpp · 1 д назад · 7 просмотров

llama.cpp b11260 добавляет поддержку FP32 GELU_ERF и GEGLU_ERF

Проект llama.cpp выпустил версию b11260, добавляющую поддержку функций активации FP32 GELU_ERF и GEGLU_ERF в бэкенде Hexagon. Это обновление также включает оптимизации для снижения нагрузки на регистры в соответствующих ядрах.