Para peneliti menyajikan kerangka teoretis yang menjelaskan munculnya kemampuan penalaran induktif dalam model bahasa Transformer dengan mempelajari kelas tugas induktif umum yang menyatukan tugas sintetis seperti n-gram konteks-dalam dan penalaran multi-hop.
- Dinamika pelatihan model perhatian terbukti terbatas pada manifold invarian berdimensi rendah yang sangat dapat diinterpretasikan.
- Dinamika pembelajaran pada manifold ini ditangkap oleh sejumlah kecil koordinat yang dapat diinterpretasikan, bukan jutaan parameter.
- Kerangka ini mengkarakterisasi bagaimana statistik data mengatur kompetisi antara pembelajaran konteks-dalam dan pembelajaran dalam bobot.
- Inisialisasi acak menentukan sirkuit 'pemenang' ketika beberapa solusi memungkinkan.
- Bingkai koordinat yang terkait dengan manifold dapat digunakan untuk secara otomatis mendeteksi sirkuit mana yang telah dipelajari dalam model yang dilatih.
Dengan memformulasikan pembentukan sirkuit sebagai fenomena dinamis berdimensi rendah, karya ini mengambil langkah menuju teori prediktif tentang bagaimana Transformer belajar.