A Specific Labs lançou o Gemma-4-31B-AntiHal, uma variante do modelo Gemma-4-31B que desafia solicitações baseadas em premissas falsas em vez de alucinar junto com elas. O modelo consegue isso por meio do direcionamento de representação baseado em interpretabilidade aplicado ao fluxo residual durante a geração.
- A técnica adiciona uma direção de diferença média ao fluxo residual da camada 33, usando um cronograma de decaimento que aplica força total para os primeiros ~24 tokens antes de desaparecer.
- No benchmark anti-alucinação HalBench, o AntiHal marca 26% de rejeição em comparação à pontuação do modelo base, representando aproximadamente o dobro do desempenho.
- O desempenho no benchmark permanece amplamente inalterado, com MATH-500 em 77% e LiveCodeBench em 55%, igualando as capacidades do modelo base.
- A abordagem foi testada no Qwen 3.6 27B e Granite 4.1 30B, mas apenas o Gemma resistiu ao direcionamento efetivamente sem quebrar ou se tornar incoerente.
Os autores posicionam isso como um método para que os modelos defendam seu conhecimento em vez de atuar como um filtro de segurança, oferecendo um checkpoint de código aberto que pode ser carregado via biblioteca transformers.