研究者たちは、JavaとPythonのコード例の並列データセットを用いて、事前学習済みコードモデルの残差ストリームをプローブし、内部でどのように型情報をエンコーディングしているかを理解している。
- 無型コードからでも異言語間の型表現が現れる。
- 隠れ状態は、型付き関数適用によって示唆される結果型を線形にエンコーディングしており、1つの言語で訓練されたプローブは別の言語の引数と結果型を推論できる。
- この構造的なエンコーディングは、語彪的摂動や異言語間の構文的多様性に対して部分的に頑健である。
この研究は、形式型の意味論と異言語間の型表現を直接対象とすることで、解釈可能性研究におけるギャップに対処し、コードとデータセットが公開された。