Jason Van Pham a publié Niodoo, un runtime local conçu pour piloter les grands modèles de langage (LLM) figés à travers leurs états cachés. Le projet vise à corriger les erreurs de la dernière étape en injectant du bruit ou des « forces physiques » pendant l'inférence pour briser les boucles de tokens. Cette approche permet aux modèles plus petits d'améliorer leurs performances sans fine-tuning, en ciblant des cas d'échec spécifiques comme le benchmark du prompt fraise Llama. Le système génère ses propres balises de télémétrie et utilise l'analyse TDA pour surveiller les états internes du modèle afin de détecter un comportement de bouclage. Van Pham a développé cet outil de manière organique grâce à des mois de recherche autodirigée et de red-teaming, en mettant l'accent sur des résultats reproductibles à partir de hachages épinglés. Le code est disponible sur GitHub sous le dépôt Ruffian-L/niodoo-hidden-state-steering.
Niodoo : un runtime local pour le pilotage de l'état caché des LLM figés
Traduit de English → Français