github llama.cpp · 1 д назад · inference

llama.cpp b11306 исправляет сбой перераспределения графа переключением causal_attn

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11306, которая устраняет сбой, вызванный изменением формы графа во время декодирования. Обновление изменяет обработку флага `causal_attn`, чтобы предотвратить сбои перераспределения при определённых ограничениях планирования.

После декодирования на устройстве `causal_attn` отключается для половины ubatch, а затем снова включается для оставшейся части, чтобы обеспечить согласованное количество узлов.
Это изменение предотвращает перераспределение графа при неизменном размере, что ранее приводило к прерыванию выполнения при активном `GGML_SCHED_NO_REALLOC`.
Исправление применяется к архитектурам декодирования, но пропускается для архитектур кодирования.

Релиз включает бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) и openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад Live

llama.cpp b11330 добавляет поддержку MTP для Qwen4Exp

Проект llama.cpp выпустил сборку b11330, которая внедряет поддержку предсказания нескольких токенов (MTP) специально для модели Qwen4Exp. Это обновление является частью более широкого выпуска, который предоставляет бинарные файлы для macOS, Linux, Windows, Android и iOS на различных аппаратных бэкендах.

media Hugging Face Forums · 3 ч назад · 1 просмотр

AiiStream Q3.6 позволяет запускать Qwen3.6-35B-A3B на Mac с 8–16 ГБ ОЗУ

Автор выпустил AiiStream Q3.6, технологию с открытым исходным кодом, которая позволяет модели Qwen3.6-35B-A3B работать на устройствах Apple Silicon с объёмом оперативной памяти всего от 8 до 16 ГБ. За счёт хранения маршрутизируемых экспертов на SSD и использования предсказаний ранней загрузки метод снижает потребление памяти MLX примерно до 1,7 ГБ, сохраняя при этом полностью идентичные результаты по байтам по сравнению со стандартной реализацией mlx_lm.

media Hugging Face Forums · 8 ч назад · 1 просмотр

Предложение извлекать нативную латентную память LLM вместо текста в RAG

Обсуждение на Hugging Face предлагает заменить традиционное извлечение текста в системах RAG на нативные латентные представления LLM. Идея заключается в кодировании документов во внутренние состояния модели во время индексации и извлечении этих состояний для вывода, что потенциально позволяет избежать затрат на повторную обработку извлеченного текста.

github llama.cpp · 22 ч назад · 5 просмотров

llama.cpp b11309 оптимизирует ALLREDUCE для Hexagon с безопасным режимом scatter

Проект llama.cpp выпустил версию b11309, включающую ключевую оптимизацию для бэкенда Hexagon. Это обновление добавляет поддержку безопасного режима scatter в операцию ALLREDUCE, направленную на улучшение производительности и стабильности на устройствах Qualcomm Snapdragon.

github llama.cpp · 22 ч назад · 1 просмотр

llama.cpp b11310 защищает ядро деquantизации iq4_nl от коротких строк

Проект llama.cpp выпустил версию b11310, которая включает исправление логики деquantизации IQ4_NL для бэкенда CUDA. Обновление устраняет проблему безопасности памяти, при которой потоки могли читать и записывать данные за пределами конца строки при обработке блоков короче QK_K.