Este artigo investiga a aprendibilidade de modelos Transformer, indo além dos trabalhos teóricos anteriores que se concentraram principalmente na expressividade e na caracterização da classe de hipóteses. Os autores propõem limites preliminares de complexidade de amostra para aprender construções C-RASP com Transformers.
- Trabalhos teóricos anteriores caracterizaram quais tarefas estão na classe de hipótese de modelos Transformer usando pesos artesanais ou argumentos de complexidade computacional.
- Pouco trabalho anterior investigou a aprendibilidade dessas soluções.
- O estudo propõe limites preliminares de complexidade de amostra para aprender construções C-RASP.