L'auteur partage ses observations sur la cartographie et le pilotage des modèles locaux en se basant sur leurs chemins d'activation lors de contextes spécifiques. L'article met en évidence la variance des chemins d'activation entre différents modèles lors de la réponse à un ensemble d'invites par lots.
- Gemma 4 31b qat a montré une variance minimale du chemin d'activation.
- Gemma 4 26b qat a présenté une variance extrême.
- Qwen 3.6 35b q_4 a démontré une variance modérée dans l'illumination du chemin d'activation.
L'auteur compare ces chemins d'activation aux clusters neuronaux dans l'esprit humain, suggérant le potentiel d'identifier et de manipuler des traits réactionnels spécifiques au sein des modèles.