Peneliti menyelidiki aliran residu dari model kode pra-pelatihan untuk memahami bagaimana mereka secara internal mengodekan informasi tipe, menggunakan dataset paralel contoh kode Java dan Python.
- Representasi tipe lintas-bahasa muncul bahkan dari kode tanpa tipe.
- Keadaan tersembunyi mengodekan secara linear tipe hasil yang disiratkan oleh aplikasi fungsi bertipe, memungkinkan probe yang dilatih pada satu bahasa untuk menyimpulkan argumen dan tipe hasil dalam bahasa lain.
- Pengkodean struktural ini sebagian robust terhadap perturbasi leksikal dan variasi sintaksis lintas-bahasa.
Karya ini mengatasi kesenjangan dalam penelitian interpretabilitas dengan secara langsung menargetkan semantik tipe formal dan representasi tipe lintas-bahasa, dengan kode dan dataset yang dirilis.