연구자들은 Java와 Python 코드 예제의 병렬 데이터셋을 사용하여 사전 학습된 코드 모델의 잔여 스트림을 프로빙하고, 내부적으로 유형 정보를 어떻게 인코딩하는지 이해하려고 합니다.
- 타입 없는 코드에서도 교차 언어적 유형 표현이 나타납니다.
- 은닉 상태는 타입 있는 함수 적용에서 암시되는 결과 유형을 선형적으로 인코딩하며, 한 언어로 훈련된 프로브는 다른 언어의 인수와 결과 유형을 추론할 수 있습니다.
- 이러한 구조적 인코딩은 어휘적 섭동과 교차 언어적 구문 변이에 대해 부분적으로 강건합니다.
이 작업은 형식적 유형 의미론과 교차 언어적 유형 표현을 직접적으로 대상으로 함으로써 해석 가능성 연구의 간극을 해소하며, 코드와 데이터셋이 공개되었습니다.