github llama.cpp · agora mesmo · inference

llama.cpp b11000 corrige execução remota de código por uso após liberação em gráfico de computação em cache

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11000, que aborda uma vulnerabilidade crítica de segurança no servidor RPC. A correção resolve um bug de uso após liberação que permitia que clientes remotos não autenticados executassem código remoto manipulando gráficos de computação em cache.

Uma implementação anterior armazenava em cache os gráficos de computação por dispositivo para evitar o reenvio de dados de tensores durante operações GRAPH_RECOMPUTE.
Esses nós em cache continham ponteiros diretos para buffers do backend; se um buffer fosse liberado via FREE_BUFFER, a reexecução subsequente acessava ponteiros pendentes.
Os atacantes podiam remodelar blocos de memória por meio dos comandos ALLOC_BUFFER e SET_TENSOR para vazar endereços da libc e sequestrar a vtable da interface do buffer.
O patch descarta todos os gráficos em cache em free_buffer(), fazendo com que o cliente recorra ao GRAPH_COMPUTE na próxima chamada.

Esta atualização impede explorações de execução remota de código direcionadas ao servidor RPC do llama.cpp sem exigir alterações no protocolo ou na API.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Safety & alignment

Artigos relacionados

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10997 amplia heurística de mosaico MoE para RDNA3.5

O projeto llama.cpp lançou a versão b10997, que inclui uma alteração na heurística ncols_opt de mosaicos do Mixture of Experts (MoE) para suportar a arquitetura RDNA3.5.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10994 corrige NaN do Metal em mul_mm_id para grandes ativações

A versão llama.cpp b10994 inclui uma correção para o backend do Metal que resolve saídas NaN na operação `mul_mm_id` quando os valores de ativação excedem a faixa f16. Este defeito anteriormente fazia com que modelos como o Mistral Small 4 produzissem vocabulários completamente NaN durante as etapas de prefill de 32 tokens ou mais em dispositivos Apple Silicon.

github llama.cpp · há 5 h · 1 visualização

llama.cpp b10995 torna incondicional a cauda BN/2 do MUL_MAT_ID no Vulkan

O projeto llama.cpp lançou a compilação b10995, que modifica o tratamento da operação MUL_MAT_ID no backend Vulkan. Especificamente, a mudança torna a cauda BN/2 incondicional, usando BN/2 como padrão para BNover2 e como fallback desabilitado para BNover4, enquanto remove o gate de habilitação dessa ramificação.

lab NVIDIA Research · há 12 h · 4 visualizações

ShareMMU permite o compartilhamento seguro de tradução de endereços entre aceleradores não confiáveis com baixa sobrecarga

Pesquisadores apresentam o ShareMMU, um design de IOMMU que permite que múltiplos aceleradores não confiáveis reutilizem com segurança endereços previamente traduzidos dentro de um espaço de endereço virtual compartilhado. Esta abordagem mitiga riscos de canais laterais associados a grandes Buffers de Tradução Compartilhada (TLBs) enquanto mantém alto desempenho.

github llama.cpp · há 13 h · 2 visualizações

llama.cpp b10989 habilita AllReduce para ROCm e fornece binários multiplataforma

O projeto llama.cpp lançou a versão b10989, que introduz suporte para habilitar operações AllReduce no backend ROCm. Esta atualização faz parte do desenvolvimento contínuo para expandir a compatibilidade de hardware e as capacidades de computação distribuída para inferência de grandes modelos de linguagem.