Les chercheurs proposent le filtrage d'amplitude (AG), une méthode non destructive en phase d'inférence qui module les amplitudes d'activation des réseaux feed-forward pour améliorer les sorties structurées des grands modèles de langage sans réentraîner les poids. Cette approche pallie les limites des réparations précédentes par changement de direction, en préservant les directions des poids pré-entraînés tout en corrigeant les petites erreurs de format ou d'arguments.
- AG définit un système d'intervention fin qui s'étend sur P1/P2/P3 et des sites spécifiques aux branches, évalué via un protocole séparant la marge de l'oracle de combinaison des filtres appris.
- Sur Qwen3.5-9B, les filtres appris au niveau des catégories améliorent les performances pour les outils/structurés/agents de 38,66 % à 42,92 %, avec une augmentation d'environ +7,6 points pour les tâches d'appel de fonction Hermes.
- Sur Qwen3-8B, le mode JSON Hermes s'améliore de +11,36 points.
- Qwen2.5-7B conserve la marge de l'oracle, mais les filtres appris actuels ne parviennent pas à la capturer, indiquant que le déploiement nécessite un routage spécifique au modèle.
- Les comparaisons montrent ni l'AG par entropie ni l'AG à fenêtre Newton-Schulz ne sont uniformément dominants sur tous les modèles.
Les résultats identifient l'inférence structurée par outils comme la cible la plus crédible pour une optimisation au niveau FFN sûr, bien qu'une évaluation croisée plus large entre modèles reste nécessaire.