C-RASP: C-RASP를 통한 Transformer용 Narrow Teachers

본 논문은 표현력과 가설 클래스 특성화에 주로 초점을 맞춘 이전 이론적 연구들을 넘어 Transformer 모델의 학습 가능성을 조사합니다. 저자들은 Transformer로 C-RASP 구성을 학습하기 위한 초기 샘플 복잡성 한계를 제안합니다.

• 과거 이론적 연구는 수작업 가중치나 계산 복잡성 논리를 사용하여 어떤 작업이 Transformer 모델의 가설 클래스에 속하는지 특성화했습니다.
• 이러한 솔루션의 학습 가능성을 조사한 기존 연구는 거의 없습니다.
• 본 연구는 C-RASP 구성을 학습하기 위한 초기 샘플 복잡성 한계를 제안합니다.