github llama.cpp · 1 д назад · inference

llama.cpp b11100 исправляет ошибку парсера вызовов инструментов Muse Glimmer

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11100, которая устраняет конкретную проблему с парсингом модели Muse Glimmer. Основное изменение заключается в исправлении первой ошибки парсера, возникающей при выполнении вызова инструмента для этой модели.

Исправлена первая ошибка парсера вызовов инструментов Muse Glimmer
Добавлен тест для проверки исправления
Объединены шаблоны и удален тест для триггерных шаблонов

Это обновление предоставляет новые бинарные файлы для macOS, Linux, Windows, Android и iOS на различных аппаратных бэкендах, включая CPU, CUDA, ROCm, Vulkan и OpenVINO.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

llama.cpp b11120 скрывает внутренние символы Vulkan для исправления разрушения состояния

Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.

arxiv arXiv cs.AI · 3 ч назад · 9 просмотров

CliffCompaction снижает затраты на кодирование агентов на 50% при сохранении производительности

Исследователи представляют CliffCompaction, технику автокомпактизации, предназначенную для снижения затрат на долгосрочных кодовых агентах до 50% в рамках ограниченного контекста. Метод сохраняет или улучшает производительность на Terminal-Bench и достигает лучших результатов на KernelBench за счёт сохранения точности сжатой информации через усечение, а не перефразирование.

arxiv arXiv cs.LG · 5 ч назад · 9 просмотров

CliffCompaction снижает затраты на долгосрочных задачах программирования для агентов до 50%, сохраняя производительность

Исследователи представляют CliffCompaction, метод автокомпактизации, разработанный для агентов, обрабатывающих миллионы токенов, который сокращает затраты до 50% в условиях ограниченного контекста. Метод сохраняет или улучшает производительность на Terminal-Bench и достигает лучших результатов на KernelBench за счёт сохранения точности информации при усечении, а не перефразировании.

github llama.cpp · 6 ч назад · 13 просмотров

llama.cpp b11118 вводит прямое отображение кэша DMA для обработки маски HVX FA

Проект llama.cpp выпустил сборку b11118, которая включает новую функцию hex-dma, внедряющую кэш DMA с прямым отображением, более подходящий для обработки маски HVX FA (Hexagon Vector eXtended).

lab OpenAI News · 11 ч назад · 16 просмотров

Сокращение времени и стоимости исследований вдвое с помощью GPT-6 Astra

Parallel интегрировала GPT-6 Astra от OpenAI в свою инфраструктуру AI-агентов, что позволило сократить время исследований и затраты на код на 50% по сравнению с предыдущими моделями. Компания сообщает, что новая модель позволяет агентам выполнять сложную интеллектуальную работу значительно быстрее, сохраняя при этом высокое качество результатов.