github llama.cpp · 2 д назад · inference

llama.cpp b11077 исправляет передачу API-ключа роутера дочерним экземплярам

Переведено с English → Русский

Выпуск llama.cpp b11077 устраняет ошибку в режиме роутера, при которой аргумент `--api-key-file` неверно передавался дочерним экземплярам, порожденным роутером. Это приводило к тому, что клиенты, использующие `--api-key`, получали ошибки 401 при завершении чата и предотвращало работу внутренних потоковых вызовов роутера.

Очищает `LLAMA_ARG_API_KEY_FILE` в `unset_reserved_args()`, чтобы никакие API-ключи не достигали дочерних экземпляров.
Гарантирует, что все ключи, принимаемые роутером, работают от начала до конца без повторной проверки по файлу ключей.
Предотвращает молчаливое отклонение внутренних потоковых вызовов роутера, таких как POST /v1/streams/lookup и DELETE /v1/stream, ошибками 401.

Это исправление решает проблему #28820, обеспечивая, чтобы аутентификация оставалась ответственностью роутера, а не дочерних процессов.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

github llama.cpp · 1 ч назад · 11 просмотров Live

llama.cpp b11120 скрывает внутренние символы Vulkan для исправления разрушения состояния

Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.

arxiv arXiv cs.AI · 4 ч назад · 9 просмотров

CliffCompaction снижает затраты на кодирование агентов на 50% при сохранении производительности

Исследователи представляют CliffCompaction, технику автокомпактизации, предназначенную для снижения затрат на долгосрочных кодовых агентах до 50% в рамках ограниченного контекста. Метод сохраняет или улучшает производительность на Terminal-Bench и достигает лучших результатов на KernelBench за счёт сохранения точности сжатой информации через усечение, а не перефразирование.

arxiv arXiv cs.LG · 5 ч назад · 9 просмотров

CliffCompaction снижает затраты на долгосрочных задачах программирования для агентов до 50%, сохраняя производительность

Исследователи представляют CliffCompaction, метод автокомпактизации, разработанный для агентов, обрабатывающих миллионы токенов, который сокращает затраты до 50% в условиях ограниченного контекста. Метод сохраняет или улучшает производительность на Terminal-Bench и достигает лучших результатов на KernelBench за счёт сохранения точности информации при усечении, а не перефразировании.

github llama.cpp · 6 ч назад · 13 просмотров

llama.cpp b11118 вводит прямое отображение кэша DMA для обработки маски HVX FA

Проект llama.cpp выпустил сборку b11118, которая включает новую функцию hex-dma, внедряющую кэш DMA с прямым отображением, более подходящий для обработки маски HVX FA (Hexagon Vector eXtended).