Cet article examine la learnabilité des modèles de Transformers, allant au-delà des travaux théoriques précédents qui se concentraient principalement sur l'expressivité et la caractérisation de la classe d'hypothèses. Les auteurs proposent des bornes préliminaires de complexité d'échantillonnage pour l'apprentissage des constructions C-RASP avec des Transformers.

  • Les travaux théoriques antérieurs ont caractérisé les tâches qui appartiennent à la classe d'hypothèses des modèles de Transformers en utilisant des poids fabriqués à la main ou des arguments de complexité computationnelle.
  • Peu de travaux antérieurs ont étudié la learnabilité de telles solutions.
  • L'étude propose des bornes préliminaires de complexité d'échantillonnage pour l'apprentissage des constructions C-RASP.