github llama.cpp · 9 ч назад · inference

llama.cpp b11320 добавляет обработчик диалекта Harmony для LLM-jp-4.1

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11320, которая включает новый обработчик диалекта для модели LLM-jp-4.1.

Обновление добавляет поддержку диалекта Harmony в LLM-jp-4.1 для решения проблем совместимости с токенизатором и форматированием параллельных вызовов инструментов.
Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows и openEuler.
В дистрибутив также включен автономный пакет пользовательского интерфейса.

Важность 1/3 Доверие 1/3 llama.cpp Local inference

llama.cpp b11307 сохраняет порядок батчей для спекулятивного декодирования

Проект llama.cpp выпустил сборку b11307, которая исправляет порядок входных данных слоёв, чтобы сохранить исходную последовательность батча во время спекулятивного декодирования. Это изменение гарантирует правильную поддержку порядка токенов для немаскированных вложений NextN и совместимость с разделением тензоров.

github llama.cpp · 22 ч назад · 1 просмотр

llama.cpp b11301 исправляет переполнение целочисленного типа в ggml/gguf

Проект llama.cpp выпустил сборку b11301, которая включает исправление проблемы с переполнением целочисленного типа в компонентах ggml и gguf. Это обновление корректирует логику проверки для предотвращения потенциальных ошибок при работе с тензорами нулевого размера.

github llama.cpp · 23 ч назад · 3 просмотра

llama.cpp b11302 исправляет гонку данных ThreadSanitizer в разреженном индексаторе

Проект llama.cpp выпустил сборку b111302, которая устраняет критическую проблему конкурентности, выявленную ThreadSanitizer в конвейере CI. Обновление решает гонку данных внутри механизма разреженного внимания, где несколько потоков CPU некорректно записывали данные в одни и те же элементы памяти.

github llama.cpp · 23 ч назад · 2 просмотра

llama.cpp b11298 добавляет поддержку dflash для конвертации и извлечения признаков

Проект llama.cpp выпустил сборку b11298, которая добавляет поддержку формата dflash. Это обновление позволяет как конвертировать модели в этот формат, так и выполнять последующее извлечение признаков.

github llama.cpp · 1 д назад · 3 просмотра

llama.cpp b11284 исправляет GET_ROWS в OpenVINO для представлений квантованных весов

Проект llama.cpp выпустил сборку b11284, которая включает исправление бэкенда OpenVINO для корректной обработки операций GET_ROWS на представлениях квантованных весов.