FlashMorph adalah metode inovatif untuk mengubah model Transformer menjadi arsitektur hibrida yang menyeimbangkan akurasi perhatian penuh dengan efisiensi perhatian linier dengan mengoptimalkan seleksi lapisan sebagai masalah subset terbatas anggaran. Pendekatan ini membangun model yang dapat dimorfosisi dengan cabang perhatian paralel dan secara bersama-sama mengoptimalkan gerbang lapis demi lapis pada data sintetis untuk menentukan konfigurasi optimal.
- FlashMorph merumuskan seleksi lapisan hibrida sebagai masalah optimisasi subset terbatas anggaran daripada mengandalkan strategi heuristik.
- Ini melengkapi setiap lapisan perhatian penuh dengan cabang perhatian linier yang dikonversi dan membekukan bobot model sambil mengoptimalkan gerbang lapis demi lapis.
- Regularisasi linearisasi mendorong ketergantungan pada perhatian linier untuk efisiensi selama proses optimisasi gerbang.
- Gerbang yang dipelajari didiskritisasi di bawah anggaran perhatian penuh yang telah ditetapkan untuk mewujudkan arsitektur hibrida akhir.
- Metode ini menggunakan distilasi logit standar dan penyetelan halus konteks panjang setelah instansiasi.
FlashMorph menemukan konfigurasi hibrida yang lebih efektif yang mempertahankan ingatan konteks panjang yang kuat dan kinerja benchmark umum sambil secara substansial mengurangi biaya seleksi lapisan dibandingkan dengan metode yang ada.