Para penulis memperkenalkan metode untuk membangun transformer yang dapat dibaca menggunakan unit bernama yang terbatas, yang berfungsi sebagai operasi himpunan fuzzy alih-alih aktivasi padat. Untuk mencegah penalti kejelasan dari meruntuhkan operator menjadi konstanta mati, mereka mengimplementasikan lantai varians per-saluran sebagai metrik keterbacaan target.
- Pendekatan ini menghilangkan kebutuhan partisi GELU cadangan yang diatur tangan dengan mempelajari fraksi per-unit, mengalihkan 87% komputasi melalui operator jernih.
- Model yang dihasilkan mencapai 78% operand feed-forward yang dapat dibaca dan 50% saluran nilai perhatian yang dapat dibaca, dengan keterbacaan per-head meningkat dari 18% di lapisan dangkal menjadi 78% di lapisan dalam.
- Edit pada unit-unit ini secara signifikan lebih lokal, menawarkan peningkatan 50-184x di lapisan dalam tempat situs edit terkonsentrasi.
- Tekanan dekorrelasi antar-unit memungkinkan pertukaran reuse sirkuit untuk independensi tanpa biaya kualitas, mengubah konsep menjadi unit yang dapat diedit secara bedah.
Metode ini memungkinkan edit yang menargetkan konjungsi eksplisit yang tidak dapat diekspresikan oleh satu neuron sambil mempertahankan kesetaraan kualitas dengan baseline konvensional.