Les chercheurs ont étudié si les poids individuels dans les réseaux neuronaux peuvent être compris globalement sur toute la distribution d'entraînement en caractérisant quand ils sont importants. Ils ont introduit un pipeline LLM automatisé qui génère et vérifie des descriptions lisibles par l'homme des fonctions de poids sur du texte maintenu hors échantillon.
- L'étude a comparé deux transformateurs clairsemés et deux denses pour mesurer la fraction de poids interprétables.
- Une fraction significative des poids d'un modèle de transformateur clairsemé peut être interprétée, avec 12 à 31 % ayant une courte description unique identifiant leur utilisation.
- L'écart d'interprétabilité entre les modèles clairsemés et denses s'élargit lorsque les descriptions peu fiables sont écartées.
Les résultats démontrent que les paramètres individuels dans les transformateurs clairsemés sont plus propices à l'interprétation mécaniste que ceux des architectures denses.