В данной статье исследуется обучаемость моделей трансформеров, выходя за рамки предыдущих теоретических работ, которые фокусировались преимущественно на выразительности и характеристике класса гипотез. Авторы предлагают предварительные оценки сложности выборки для обучения конструкций C-RASP с помощью трансформеров.
- Предыдущие теоретические работы характеризовали, какие задачи входят в класс гипотез моделей трансформеров, используя вручную сконструированные веса или аргументы вычислительной сложности.
- Небольшое количество предыдущих работ исследовало обучаемость таких решений.
- В данном исследовании предлагаются предварительные оценки сложности выборки для обучения конструкций C-RASP.