本論文は、Transformerモデルの学習可能性を調査し、主に表現力と仮説空間の特性付けに焦点を当てていた以前の理論的作業を超えて移動する。著者は、TransformerでC-RASP構成を学習するための初期サンプル複雑性の限界を提案する。

  • 過去の理論的作業は、手作り重みや計算複雑性の議論を使用して、どのタスクがTransformerモデルの仮説空間に含まれるかを特性付けした。
  • このようなソリューションの学習可能性を調査した先行研究はほとんどない。
  • この研究は、C-RASP構成を学習するための初期サンプル複雑性の限界を提案する。