Para peneliti memperkenalkan metode untuk optimasi parsial dan penuh koneksi dalam jaringan gerbang logika diferensiabel dalam (LGN) dan jaringan tabel pencarian (LUT). Pendekatan ini menggunakan distribusi probabilitas untuk memilih koneksi dengan merit tertinggi per pin input sambil mempelajari jenis gerbang atau entri LUT optimal secara paralel.
- LGN yang dioptimalkan koneksinya mengungguli LGN koneksi tetap standar pada benchmark Yin-Yang, MNIST, dan Fashion-MNIST dengan menggunakan jauh lebih sedikit gerbang logika.
- Metode ini mencapai akurasi 98,92% pada MNIST dengan dua lapisan berisi 8000 gerbang, membutuhkan hampir 50 kali lebih sedikit gerbang dibandingkan LGN koneksi tetap.
- Stabilitas pelatihan hingga sepuluh lapisan dijamin melalui laju pembelajaran tinggi, estimator straight-through, dan pemangkasan jenis gerbang output konstan.
- Deskripsi neuron LUT memungkinkan pelatihan backpropagation yang stabil untuk jaringan hingga kedalaman enam lapisan dengan empat kali lebih sedikit parameter yang dapat dilatih.
- Algoritma ini mencapai akurasi 98,88% pada LUTN menggunakan dua lapisan berisi 2000 LUT 6-input.
Algoritma pelatihan koneksi memungkinkan model yang jauh lebih efisien yang mempertahankan atau melampaui akurasi pendekatan koneksi tetap tradisional.