github llama.cpp · 1 ч назад · inference

llama.cpp b11330 добавляет поддержку MTP для Qwen4Exp

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11330, которая внедряет поддержку предсказания нескольких токенов (MTP) специально для модели Qwen4Exp. Это обновление является частью более широкого выпуска, который предоставляет бинарные файлы для macOS, Linux, Windows, Android и iOS на различных аппаратных бэкендах.

Добавляет функциональность MTP для моделей Qwen4Exp через pull request #29761.
Удаляет член `has_state` в пользу проверки того, что `ctx_bufs` не пустой.
Включает очистку кода с последовательными соглашениями об именовании и уменьшенной избыточностью комментариев.
Предоставляет предварительно собранные бинарные файлы для CPU, GPU (CUDA, Vulkan, ROCm, OpenCL) и NPU (Snapdragon Hexagon).

Этот выпуск позволяет пользователям использовать возможности MTP в llama.cpp, сохраняя совместимость с существующими аппаратными конфигурациями.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

media Hugging Face Forums · 3 ч назад · 1 просмотр

AiiStream Q3.6 позволяет запускать Qwen3.6-35B-A3B на Mac с 8–16 ГБ ОЗУ

Автор выпустил AiiStream Q3.6, технологию с открытым исходным кодом, которая позволяет модели Qwen3.6-35B-A3B работать на устройствах Apple Silicon с объёмом оперативной памяти всего от 8 до 16 ГБ. За счёт хранения маршрутизируемых экспертов на SSD и использования предсказаний ранней загрузки метод снижает потребление памяти MLX примерно до 1,7 ГБ, сохраняя при этом полностью идентичные результаты по байтам по сравнению со стандартной реализацией mlx_lm.

media Hugging Face Forums · 8 ч назад · 1 просмотр

Предложение извлекать нативную латентную память LLM вместо текста в RAG

Обсуждение на Hugging Face предлагает заменить традиционное извлечение текста в системах RAG на нативные латентные представления LLM. Идея заключается в кодировании документов во внутренние состояния модели во время индексации и извлечении этих состояний для вывода, что потенциально позволяет избежать затрат на повторную обработку извлеченного текста.

github llama.cpp · 22 ч назад · 5 просмотров

llama.cpp b11309 оптимизирует ALLREDUCE для Hexagon с безопасным режимом scatter

Проект llama.cpp выпустил версию b11309, включающую ключевую оптимизацию для бэкенда Hexagon. Это обновление добавляет поддержку безопасного режима scatter в операцию ALLREDUCE, направленную на улучшение производительности и стабильности на устройствах Qualcomm Snapdragon.

github llama.cpp · 22 ч назад · 1 просмотр

llama.cpp b11310 защищает ядро деquantизации iq4_nl от коротких строк

Проект llama.cpp выпустил версию b11310, которая включает исправление логики деquantизации IQ4_NL для бэкенда CUDA. Обновление устраняет проблему безопасности памяти, при которой потоки могли читать и записывать данные за пределами конца строки при обработке блоков короче QK_K.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b11307 сохраняет порядок батчей для спекулятивного декодирования

Проект llama.cpp выпустил сборку b11307, которая исправляет порядок входных данных слоёв, чтобы сохранить исходную последовательность батча во время спекулятивного декодирования. Это изменение гарантирует правильную поддержку порядка токенов для немаскированных вложений NextN и совместимость с разделением тензоров.