本文研究了 Transformer 模型的可学习性，超越了以往主要关注表达能力和假设类特征的理论工作。作者提出了使用 Transformer 学习 C-RASP 结构的初步样本复杂度界限。
- 过去的理论工作使用手工设计的权重或计算复杂性论证来刻画哪些任务属于 Transformer 模型的假设类。
- 很少有前期工作研究此类解决方案的可学习性。
- 本研究提出了学习 C-RASP 结构的初步样本复杂度界限。
C-RASP：通过 C-RASP 为 Transformer 提供窄教师
译自 English → 中文