Este artículo investiga la aprendibilidad de los modelos Transformer, yendo más allá de trabajos teóricos anteriores que se centraron principalmente en la expresividad y la caracterización de la clase de hipótesis. Los autores proponen cotas preliminares de complejidad de muestra para aprender construcciones C-RASP con Transformers.
- El trabajo teórico anterior caracterizó qué tareas están en la clase de hipótesis de los modelos Transformer utilizando pesos elaborados a mano o argumentos de complejidad computacional.
- Pocos trabajos previos investigaron la aprendibilidad de dichas soluciones.
- El estudio propone cotas preliminares de complejidad de muestra para aprender construcciones C-RASP.