media Hugging Face Forums · 4 д назад · open_models

loo5x выпустила llama-modes v0.4.0 для структурированного вывода в llama.cpp

Переведено с English → Русский

loo5x выпустила llama-modes v0.4.0, форк llama.cpp, который позволяет загружать одну модель GGUF один раз для выполнения нескольких режимов структурированного вывода без замены моделей или добавления классификаторов.

Режим BOOLEAN напрямую оценивает ответы Да/Нет.
Режим CHOICE оценивает произвольные предоставленные кандидаты, включая многозначные метки.
Режим SCALE оценивает порядковые или интервальные шкалы, возвращая дискретные распределения и производные статистики, такие как медиана или ожидаемое значение.
Проект включает выпуск CUDA для Windows, локальное демо на React и документацию API.

Этот подход позволяет разработчикам повторно использовать одни и те же веса модели в памяти для различных примитивов вывода, обеспечивая прямой структурированный скоринг из обычных локальных языковых моделей.

Важность 1/3 Доверие 1/3 Hugging Face Forums Inference efficiency Local inference

Оригинал

Похожие статьи

media Hugging Face Forums · только что · 1 просмотр Live

AiiStream Q3.6 позволяет запускать Qwen3.6-35B-A3B на Mac с 8–16 ГБ ОЗУ

Автор выпустил AiiStream Q3.6, технологию с открытым исходным кодом, которая позволяет модели Qwen3.6-35B-A3B работать на устройствах Apple Silicon с объёмом оперативной памяти всего от 8 до 16 ГБ. За счёт хранения маршрутизируемых экспертов на SSD и использования предсказаний ранней загрузки метод снижает потребление памяти MLX примерно до 1,7 ГБ, сохраняя при этом полностью идентичные результаты по байтам по сравнению со стандартной реализацией mlx_lm.

github llama.cpp · 22 ч назад · 1 просмотр

llama.cpp b11307 сохраняет порядок батчей для спекулятивного декодирования

Проект llama.cpp выпустил сборку b11307, которая исправляет порядок входных данных слоёв, чтобы сохранить исходную последовательность батча во время спекулятивного декодирования. Это изменение гарантирует правильную поддержку порядка токенов для немаскированных вложений NextN и совместимость с разделением тензоров.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b11301 исправляет переполнение целочисленного типа в ggml/gguf

Проект llama.cpp выпустил сборку b11301, которая включает исправление проблемы с переполнением целочисленного типа в компонентах ggml и gguf. Это обновление корректирует логику проверки для предотвращения потенциальных ошибок при работе с тензорами нулевого размера.

github llama.cpp · 1 д назад · 3 просмотра

llama.cpp b11302 исправляет гонку данных ThreadSanitizer в разреженном индексаторе

Проект llama.cpp выпустил сборку b111302, которая устраняет критическую проблему конкурентности, выявленную ThreadSanitizer в конвейере CI. Обновление решает гонку данных внутри механизма разреженного внимания, где несколько потоков CPU некорректно записывали данные в одни и те же элементы памяти.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b11298 добавляет поддержку dflash для конвертации и извлечения признаков

Проект llama.cpp выпустил сборку b11298, которая добавляет поддержку формата dflash. Это обновление позволяет как конвертировать модели в этот формат, так и выполнять последующее извлечение признаков.