Specific Labs ha lanzado Gemma-4-31B-AntiHal, una variante del modelo Gemma-4-31B que desafía las solicitudes basadas en premisas falsas en lugar de alucinar junto con ellas. El modelo logra esto mediante el direccionamiento de representación basado en interpretabilidad aplicado al flujo residual durante la generación.

  • La técnica añade una dirección de diferencia media al flujo residual de la capa 33, utilizando un programa de decaimiento que aplica toda la fuerza para los primeros ~24 tokens antes de desvanecerse.
  • En el benchmark anti-alucinación HalBench, AntiHal obtiene un 26% de rechazo en comparación con la puntuación del modelo base, lo que representa aproximadamente el doble del rendimiento.
  • El rendimiento del benchmark permanece largely sin afectar, con MATH-500 al 77% y LiveCodeBench al 55%, igualando las capacidades del modelo base.
  • El enfoque fue probado en Qwen 3.6 27B y Granite 4.1 30B, pero solo Gemma resistió el direccionamiento efectivamente sin romperse o volverse incoherente.

Los autores posicionan esto como un método para que los modelos defiendan su conocimiento en lugar de actuar como un filtro de seguridad, ofreciendo una checkpoint de código abierto que se puede cargar a través de la biblioteca transformers.