研究者たちは、ニューラルネットワーク内の個々の重みが、それが重要になる条件を特徴づけることで、学習分布全体を通じてグローバルに理解可能かどうかを調査した。彼らは、保持されたテキスト上で重み関数の人間が読める記述を生成し検証する自動化されたLLMパイプラインを導入した。
- 本研究は2つのスパースTransformerと2つの密なTransformerを比較し、解釈可能な重みの割合を測定した。
- スパースTransformerモデルの重みの有意義な部分が解釈可能であり、12〜31%がその用途を特定する短い単一の記述を持っていた。
- 信頼性の低い記述を除外すると、スパースモデルと密なモデルの間の解釈可能性のギャップは拡大する。
この結果は、スパースTransformer内の個々のパラメータが密なアーキテクチャのものよりも機械的解釈に適していることを示している。