Kerangka teoretis baru menjelaskan munculnya kemampuan penalaran induktif dalam model bahasa Transformer dengan mempelajari kelas tugas induktif umum yang menyatukan tugas sintetis seperti n-gram konteks dan penalaran multi-hop.
- Dinamika pelatihan model perhatian terkungkung pada manifold invarian berdimensi rendah yang sangat dapat diinterpretasikan.
- Dinamika pembelajaran pada manifold ini ditangkap oleh beberapa koordinat yang dapat diinterpretasikan, bukan jutaan parameter.
- Kerangka ini mengkarakterisasi bagaimana statistik data mengatur kompetisi antara pembelajaran konteks dan pembelajaran dalam bobot.
- Inisialisasi acak menentukan sirkuit 'pemenang' ketika beberapa solusi memungkinkan.
- Bingkai koordinat yang terkait dengan manifold dapat digunakan untuk secara otomatis mendeteksi sirkuit mana yang telah dipelajari pada model terlatih.
Dengan memformulasikan pembentukan sirkuit sebagai fenomena dinamis berdimensi rendah, karya ini mengambil langkah menuju teori prediktif tentang bagaimana Transformer belajar.