Specific Labs oriente Gemma-4-31B pour contester les prémisses fausses sans impact sur le benchmark

Specific Labs a publié Gemma-4-31B-AntiHal, une variante du modèle Gemma-4-31B qui conteste les requêtes basées sur des prémisses fausses plutôt que d'halluciner en les suivant. Le modèle y parvient en appliquant un pilotage de représentation basé sur l'interprétabilité au flux résiduel pendant la génération.

• La technique ajoute une direction de différence moyenne au flux résiduel de la couche 33, en utilisant un calendrier de décroissance qui applique toute la force pour les premiers ~24 tokens avant de s'estomper.
• Sur le benchmark anti-hallucination HalBench, AntiHal obtient un taux de rejet de 26% par rapport au score du modèle de base, représentant environ le double des performances.
• Les performances au benchmark restent largement inchangées, avec MATH-500 à 77% et LiveCodeBench à 55%, correspondant aux capacités du modèle de base.
• L'approche a été testée sur Qwen 3.6 27B et Granite 4.1 30B, mais seul Gemma a résisté efficacement au pilotage sans se briser ou devenir incohérent.

Les auteurs présentent cela comme une méthode pour que les modèles défendent leurs connaissances plutôt que d'agir comme un filtre de sécurité, offrant un checkpoint open-source chargeable via la bibliothèque transformers.