github llama.cpp · 4 д назад · inference

llama.cpp b11205 добавляет поддержку CUDA для Nemotron 3 Puzzle с размером состояния 96

Переведено с English → Русский

Проект llama.cpp выпустил версию b11205, которая вносит конкретное обновление в свой бэкенд CUDA. Этот релиз добавляет поддержку размера состояния Puzzle 96 для Nemotron 3 в реализации сканирования SSM.

Обновление позволяет обрабатывать модели Nemotron 3 с размером состояния puzzle 96 на оборудовании CUDA.
Бинарные файлы предоставляются для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android и iOS.
В релиз включены стандартные бинарные файлы UI наряду с исполняемыми файлами для конкретных платформ.

Это обновление позволяет пользователям запускать модели Nemotron 3 с определенными размерами состояний на совместимых графических процессорах NVIDIA с помощью llama.cpp.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · только что Live

llama.cpp b11302 исправляет гонку данных ThreadSanitizer в разреженном индексаторе

Проект llama.cpp выпустил сборку b111302, которая устраняет критическую проблему конкурентности, выявленную ThreadSanitizer в конвейере CI. Обновление решает гонку данных внутри механизма разреженного внимания, где несколько потоков CPU некорректно записывали данные в одни и те же элементы памяти.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b11298 добавляет поддержку dflash для конвертации и извлечения признаков

Проект llama.cpp выпустил сборку b11298, которая добавляет поддержку формата dflash. Это обновление позволяет как конвертировать модели в этот формат, так и выполнять последующее извлечение признаков.

github llama.cpp · 8 ч назад · 2 просмотра

llama.cpp b11284 исправляет GET_ROWS в OpenVINO для представлений квантованных весов

Проект llama.cpp выпустил сборку b11284, которая включает исправление бэкенда OpenVINO для корректной обработки операций GET_ROWS на представлениях квантованных весов.

github llama.cpp · 11 ч назад · 2 просмотра

llama.cpp добавляет поддержку GLM-5.3-Flash с исправлениями k-pool и MTP

Проект llama.cpp добавил начальную поддержку архитектуры модели GLM-5.3-Flash (GLM5-Next), включая миграцию на гибридную индексацию памяти и ранние возможности Multi-Token Prediction (MTP).

github llama.cpp · 13 ч назад · 2 просмотра

llama.cpp b11272 оптимизирует операцию конкатенации Hexagon

Проект llama.cpp выпустил сборку b11272, включающую оптимизации для бэкенда Hexagon. Основное изменение сосредоточено на оптимизации операции конкатенации для повышения производительности на оборудовании Qualcomm Snapdragon.