lab NVIDIA Research · agora mesmo · research

ReasAlign usa raciocínio para defender agentes de LLM contra injeção de prompt

Traduzido do English → Português (BR)

Pesquisadores introduziram o ReasAlign, uma solução em nível de modelo projetada para melhorar o alinhamento de segurança em Grandes Modelos de Linguagem (LLMs) contra ataques de injeção indireta de prompt. A abordagem incorpora etapas de raciocínio estruturado para analisar consultas do usuário e detectar instruções conflitantes, garantindo a continuidade das tarefas pretendidas pelo usuário.

O ReasAlign emprega um mecanismo de escalonamento em tempo de teste com um modelo juiz otimizado por preferência para pontuar as etapas de raciocínio e selecionar a melhor trajetória.
No benchmark CyberSecEval2, ele atinge 94,6% de utilidade e apenas 3,6% de taxa de sucesso do ataque (ASR).
Esse desempenho supera amplamente o Meta SecAlign, que registrou 56,4% de utilidade e 74,4% de ASR nas mesmas tarefas.

Os autores afirmam que o ReasAlign estabelece uma defesa robusta e prática contra ataques de injeção de prompt em sistemas agênticos do mundo real, ao alcançar a melhor compensação entre segurança e utilidade.

Importância 1/3 Confiança 3/3 NVIDIA Research Reasoning models Safety & alignment

Artigos relacionados

lab OpenAI News · há 5 d · 15 visualizações

OpenAI alerta para risco da IA à medida que modelos de raciocínio escalam

Em um ensaio intitulado "An Alien Mind", a OpenAI discute o rápido avanço dos modelos de linguagem de raciocínio e o potencial para autoaperfeiçoamento recursivo. O autor expressa preocupação de que a inteligência das máquinas está superando as capacidades humanas de maneiras transformadoras, impulsionada principalmente pelo aumento do poder computacional em vez de algoritmos projetados.

blog Simon Willison · há 30 d · 28 visualizações

Pesquisadores roubam rastros de raciocínio de APIs de LLM proprietárias por meio de ataques de replay

Um artigo demonstra que blocos de cadeia de pensamento criptografados retornados pela Anthropic, OpenAI e Google podem ser extraídos em texto simples. Os autores exploraram uma vulnerabilidade onde modelos dentro da mesma família compartilhavam chaves de criptografia, permitindo que eles retransmitissem os rastros para modelos irmãos mais fracos.

media Latent Space · há 31 d · 39 visualizações

Pesquisadores decodificam rastros de raciocínio criptografados das APIs Claude, GPT e Gemini

Um novo artigo demonstra que blocos de raciocínio criptografados de modelos de ponta como Claude, GPT e Gemini podem ser decodificados e reproduzidos para extrair dados ocultos de cadeia de pensamento. Os autores mostram como esses blobs assinados podem ser transferidos para modelos mais fracos ou sessões diferentes para transcrever os pensamentos subjacentes, efetivamente contornando os esforços de ofuscação dos provedores.

arxiv arXiv cs.LG · há 32 d · 40 visualizações

Pesquisadores exploram reutilização de criptografia entre sessões para roubar rastros de raciocínio de APIs de LLM

Pesquisadores identificaram uma vulnerabilidade na forma como os principais provedores de modelos de linguagem grandes manipulam os rastros de raciocínio passo a passo, que são retornados como blocos criptografados para uso no lado do cliente. Eles descobriram que esses blocos criptografados são totalmente compatíveis e intercambiáveis entre diferentes sessões, usuários e modelos dentro do ecossistema do mesmo provedor.

arxiv arXiv cs.AI · há 32 d · 50 visualizações

Atacantes roubam rastros de raciocínio de APIs de LLM proprietárias por meio de vulnerabilidade em blocos criptografados

Pesquisadores identificaram uma vulnerabilidade arquitetural na forma como os principais provedores de modelos de linguagem grandes manipulam rastros de raciocínio passo a passo. Os provedores retornam esses rastros como blocos criptografados para os clientes, mas o estudo revela que esses blocos são totalmente compatíveis e intercambiáveis entre diferentes sessões, usuários e modelos dentro do ecossistema de um provedor.