BCMT: Transformer Memori Kausal Blokwise untuk pemodelan konteks panjang yang efisien

Seorang peneliti memperkenalkan BCMT, arsitektur baru untuk pemodelan bahasa konteks panjang yang mengganti perhatian-sw global padat dengan operasi blokwise. Model ini menggabungkan perhatian kausal lokal dengan ringkasan kontekstual adaptif dan propagasi memori kausal untuk menangkap ketergantungan jarak jauh secara efisien.

• Kompleksitas komputasi dikurangi dari O(T²) menjadi O(TL) untuk ukuran blok tetap.
• Implementasinya mencakup arsitektur lengkap, ablation H-only, dan baseline Transformer standar.
• Eksperimen pada WikiText-103 menunjukkan perplexitas validasi yang mendekati Transformer padat dengan throughput lebih tinggi dan penggunaan memori GPU yang lebih rendah.

Proyek ini bersifat open source, menyediakan kode PyTorch dan skrip pelatihan untuk tinjauan komunitas.