github llama.cpp · только что · inference

llama.cpp b11000 устраняет удалённое выполнение кода через use-after-free в кэшированном вычислительном графе

Переведено с English → Русский

Проект llama.cpp выпустил версию b11000, которая устраняет критическую уязвимость безопасности в RPC-сервере. Исправление решает проблему use-after-free, позволявшую неаутентифицированным удалённым клиентам выполнять удалённый код путём манипуляции с кэшированными вычислительными графами.

Предыдущая реализация кэшировала вычислительные графы для каждого устройства, чтобы избежать повторной отправки тензорных данных во время операций GRAPH_RECOMPUTE.
Эти кэшированные узлы содержали прямые указатели на буферы бэкенда; если буфер освобождался через FREE_BUFFER, последующее повторное выполнение обращалось к висячим указателям.
Атакующие могли изменять форму блоков памяти с помощью команд ALLOC_BUFFER и SET_TENSOR, чтобы утечь адреса libc и перехватить vtable интерфейса буфера.
Патч отбрасывает все кэшированные графы в free_buffer(), заставляя клиента вернуться к GRAPH_COMPUTE при следующем вызове.

Это обновление предотвращает эксплуатации удалённого выполнения кода, нацеленные на RPC-сервер llama.cpp, без необходимости каких-либо изменений протокола или API.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Safety & alignment

Оригинал

Похожие статьи

media r/LocalLLaMA · 90 д назад · 5 просмотров

Снижение затрат на токены в реальных условиях за счёт headroom, rtk и caveman

Реальный анализ нагрузки показывает, что headroom, rtk и caveman снижают затраты на токены на 2,8%, 0,5% и 0.4% соответственно, что в сумме составляет 3,7% от базовых расходов. Однако сокращения ограничены разнообразием нагрузки, поскольку большая часть трафика состоит из простого текста или исходного кода, а инструменты сжимают только структурированные выводы. Большинство сокращений происходит в наиболее дешёвом потоке токенов — при чтении кэша, при этом инструменты не влияют на кэширование промптов или затраты на выводы, и существуют пробелы в охвате, особенно в отношении rtk.

github llama.cpp · 4 ч назад · 1 просмотр

llama.cpp b10997 расширяет эвристику тайлов MoE для RDNA3.5

Проект llama.cpp выпустил версию b10997, которая включает изменение в эвристике ncols_opt тайла Mixture of Experts (MoE) для поддержки архитектуры RDNA3.5.

github llama.cpp · 4 ч назад · 1 просмотр

llama.cpp b10994 исправляет Metal NaN в mul_mm_id для больших активаций

Релиз llama.cpp b10994 включает исправление для бэкенда Metal, устраняющее выходные значения NaN в операции `mul_mm_id` при превышении значениями активации диапазона f16. Этот дефект ранее приводил к тому, что модели, такие как Mistral Small 4, генерировали полностью NaN словари на этапах префиллинга длиной 32 токена и более на устройствах Apple Silicon.

github llama.cpp · 5 ч назад · 1 просмотр

llama.cpp b10995 делает хвост BN/2 операции MUL_MAT_ID в Vulkan безусловным

Проект llama.cpp выпустил сборку b10995, которая изменяет обработку операции MUL_MAT_ID бэкендом Vulkan. В частности, изменение делает хвост BN/2 безусловным, используя BN/2 по умолчанию для BNover2 и в качестве отключенного резервного варианта для BNover4, одновременно убирая управляющий переключатель из этой ветви.

lab NVIDIA Research · 12 ч назад · 4 просмотра

ShareMMU обеспечивает безопасное разделение трансляции адресов между недоверенными ускорителями с малыми накладными расходами

Исследователи представляют ShareMMU, дизайн IOMMU, который позволяет нескольким недоверенным ускорителям безопасно повторно использовать предварительно транслированные адреса в общем виртуальном адресном пространстве. Этот подход снижает риски побочных каналов, связанные с большими общими таблицами трансляции (TLB), сохраняя при этом высокую производительность.