github llama.cpp · 2 д назад · inference

llama.cpp b11080 позволяет использовать regex в фильтре -o и прекращает логирование срезов векторов FA

Переведено с English → Русский

Выпуск llama.cpp b11080 обновляет операции тестового бэкенда для поддержки регулярных выражений в фильтре `-o`, позволяя сопоставлять шаблоны с именами операций, сохраняя точное совпадение для обычных имён. Он также изменяет инструмент `cont`, чтобы прекратить вывод журналов срезов векторов Fast Attention, когда они не нужны.

Фильтр `-o` теперь рассматривает непустые записи как регулярные выражения (например, "MUL_MAT.*") относительно имён операций, в то время как обычные имена, такие как "ADD", остаются точными совпадениями.
Справочный текст для `tests/test-backend-ops` был переформатирован с отдельными разделами для режимов, опций и примеров.
Бинарные файлы предоставляются для macOS, Linux, Windows, Android и iOS для бэкендов CPU, CUDA, ROCm, Vulkan, OpenVINO и SYCL.

Этот выпуск предоставляет обновлённые бинарные файлы на нескольких платформах и улучшает гибкость фильтрации тестов.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

github llama.cpp · 1 ч назад · 11 просмотров Live

llama.cpp b11120 скрывает внутренние символы Vulkan для исправления разрушения состояния

Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.

arxiv arXiv cs.AI · 4 ч назад · 9 просмотров

CliffCompaction снижает затраты на кодирование агентов на 50% при сохранении производительности

Исследователи представляют CliffCompaction, технику автокомпактизации, предназначенную для снижения затрат на долгосрочных кодовых агентах до 50% в рамках ограниченного контекста. Метод сохраняет или улучшает производительность на Terminal-Bench и достигает лучших результатов на KernelBench за счёт сохранения точности сжатой информации через усечение, а не перефразирование.

arxiv arXiv cs.LG · 5 ч назад · 9 просмотров

CliffCompaction снижает затраты на долгосрочных задачах программирования для агентов до 50%, сохраняя производительность

Исследователи представляют CliffCompaction, метод автокомпактизации, разработанный для агентов, обрабатывающих миллионы токенов, который сокращает затраты до 50% в условиях ограниченного контекста. Метод сохраняет или улучшает производительность на Terminal-Bench и достигает лучших результатов на KernelBench за счёт сохранения точности информации при усечении, а не перефразировании.

github llama.cpp · 6 ч назад · 13 просмотров

llama.cpp b11118 вводит прямое отображение кэша DMA для обработки маски HVX FA

Проект llama.cpp выпустил сборку b11118, которая включает новую функцию hex-dma, внедряющую кэш DMA с прямым отображением, более подходящий для обработки маски HVX FA (Hexagon Vector eXtended).