github llama.cpp · 1 д назад · inference

llama.cpp b11095 добавляет оптимизированный для HMX GATED_DELTA_NET и сокращает чтение DDR

Переведено с English → Русский

Выпуск llama.cpp b11095 представляет новую реализацию GATED_DELTA_NET (GDN), оптимизированную для HMX, а также различные оптимизации для ядер Hexagon и Flash Attention.

Поддержка GDN включает конвейеризацию, потоки HVX и векторные операции для повышения производительности на чипах Qualcomm.
Обновления Flash Attention сокращают чтение DDR на 20-30% во время генерации токенов за счет накопления в регистрах и улучшения конвейера DMA.
Выпуск предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, CUDA, ROCm, Vulkan и OpenVINO.

Это обновление повышает эффективность вывода на конкретных аппаратных архитектурах, сохраняя широкую совместимость с существующими средами развертывания.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад · 10 просмотров Live

llama.cpp b11120 скрывает внутренние символы Vulkan для исправления разрушения состояния

Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.

arxiv arXiv cs.AI · 3 ч назад · 9 просмотров

CliffCompaction снижает затраты на кодирование агентов на 50% при сохранении производительности

Исследователи представляют CliffCompaction, технику автокомпактизации, предназначенную для снижения затрат на долгосрочных кодовых агентах до 50% в рамках ограниченного контекста. Метод сохраняет или улучшает производительность на Terminal-Bench и достигает лучших результатов на KernelBench за счёт сохранения точности сжатой информации через усечение, а не перефразирование.

arxiv arXiv cs.LG · 5 ч назад · 9 просмотров

CliffCompaction снижает затраты на долгосрочных задачах программирования для агентов до 50%, сохраняя производительность

Исследователи представляют CliffCompaction, метод автокомпактизации, разработанный для агентов, обрабатывающих миллионы токенов, который сокращает затраты до 50% в условиях ограниченного контекста. Метод сохраняет или улучшает производительность на Terminal-Bench и достигает лучших результатов на KernelBench за счёт сохранения точности информации при усечении, а не перефразировании.

github llama.cpp · 6 ч назад · 13 просмотров

llama.cpp b11118 вводит прямое отображение кэша DMA для обработки маски HVX FA

Проект llama.cpp выпустил сборку b11118, которая включает новую функцию hex-dma, внедряющую кэш DMA с прямым отображением, более подходящий для обработки маски HVX FA (Hexagon Vector eXtended).

lab OpenAI News · 11 ч назад · 16 просмотров

Сокращение времени и стоимости исследований вдвое с помощью GPT-6 Astra

Parallel интегрировала GPT-6 Astra от OpenAI в свою инфраструктуру AI-агентов, что позволило сократить время исследований и затраты на код на 50% по сравнению с предыдущими моделями. Компания сообщает, что новая модель позволяет агентам выполнять сложную интеллектуальную работу значительно быстрее, сохраняя при этом высокое качество результатов.