arxiv arXiv cs.AI · há 1 h · fonte: há 2 d · research

Módulo de Elegibilidade da Aethis usa arquitetura neuro-simbólica para corrigir erros de avaliação de regras em LLMs

Traduzido do English → Português (BR)

O artigo documenta uma classe de falha em modelos de linguagem grandes de ponta chamada colapso de cadeia de exceções, onde os modelos avaliam incorretamente regras condicionais aninhadas. Para abordar isso, os autores apresentam o Módulo de Elegibilidade da Aethis, uma arquitetura neuro-simbólica que combina regras autoradas por LLM com uma camada baseada em SMT para execução determinística.

O sistema garante execução consistente de regras independentemente do desvio do modelo ou mudanças no formato do prompt.
Em um teste adversarial de 20 cenários sobre seguros de construção, o motor marcou 20/20, igualando apenas uma das quatro configurações de ponta.
A validação externa em tarefas do LegalBench mostrou que o motor foi significativamente mais preciso do que três modelos de ponta, com margens de até +41 pontos contra os modelos da Anthropic.

A contribuição relociona a incerteza da fronteira de inferência para a fronteira de especificação, tornando-a deliberada e auditada para fluxos de trabalho regulados.

Importância 2/3 Supera um benchmark de um laboratório de ponta Novo ambiente de avaliação com diferenciais arXiv cs.AI Evaluation & benchmarks Safety & alignment

Artigos relacionados

media Hugging Face Forums · há 3 d

Jeanbosange lança protótipo de auditoria em tempo real do LIMEN para inspecionar trajetórias de ativação por camada

Jeanbosange publicou o primeiro protótipo público do LIMEN Runtime Audit, um kit de ferramentas de código aberto projetado para inspecionar trajetórias de ativação por camada em modelos de linguagem de peso aberto. A ferramenta trata a sequência de estados ocultos entre as camadas como uma trajetória mensurável, fornecendo uma camada de observabilidade reproduzível para comparar o comportamento interno em tempo de execução.

arxiv arXiv cs.CL · há 12 d

UTS contorna detectores Voight-Kampff do ELOQUENT 2026 com mudanças estruturais

Pesquisadores da UTS desenvolveram estratégias de evasão que ocupam as 5 primeiras posições no ranking ELOQUENT 2026 Voight-Kampff explorando uma assimetria fundamental na vulnerabilidade do detector. O estudo descobre que empurrar o texto gerado para fora da distribuição de treinamento do detector derrota confiavelmente a detecção adversarial, enquanto imitar dados humanos falha.

arxiv arXiv cs.CL · há 12 d

Estudo encontra saídas de familiaridade graduada de entidades em modelos de linguagem

Um estudo examina as ativações no último token do prompt em doze modelos ajustados para instruções das famílias Bielik, PLLuM, Gemma-4 e Qwen3 para determinar se eles podem estimar a familiaridade com uma entidade antes de gerar uma resposta. Usando um conjunto de dados com 1.440 entidades polonesas, os pesquisadores descobriram que as pontuações do probe de familiaridade separam efetivamente entidades reais das fabricadas em todas as famílias de modelos.

media Hugging Face Forums · há 12 d · 2 visualizações

Vulcora lança desafio de $51,2K para recuperar gatilho oculto em sete modelos baseados no SmolLM2

A Vulcora lançou um desafio público oferecendo uma recompensa de $51.200 pela recuperação da frase exata do gatilho de uma backdoor oculta embutida em um dos sete modelos de linguagem de código aberto. Os modelos são derivados do HuggingFaceTB/SmolLM2-135M-Instruct e incluem um modelo professor que confessa a forma do mecanismo, cinco iscas e um com um gatilho não declarado ativo.

arxiv arXiv cs.AI · há 13 d · 1 visualização

Vencer pelo Silêncio: Não Monotonicidade da Exclusão e Exploração Autônoma na Avaliação de Planos de LLM

Este artigo investiga um modo de falha em avaliadores de valor esperado em etapas para rotas de empreendimento geradas por LLM, onde planos estratégicos podem alcançar pontuações mais altas ao se tornarem menos explícitos por meio da exclusão de transições internas.