Sebuah metode baru diperkenalkan untuk optimasi parsial dan penuh dari koneksi dalam jaringan gerbang logika diferensiabel dalam (LGN) dan jaringan tabel pencarian (LUTN). Pendekatan pelatihan memanfaatkan distribusi probabilitas atas koneksi per pin input, memilih koneksi dengan merit tertinggi sambil mempelajari jenis gerbang atau entri LUT optimal secara paralel.
- LGN yang dioptimalkan untuk koneksi mengungguli varian koneksi tetap standar pada benchmark Yin-Yang, MNIST, dan Fashion-MNIST menggunakan jumlah gerbang logika yang jauh lebih sedikit.
- Metode ini mencapai akurasi 98,92% pada MNIST dengan dua lapisan berisi 8000 gerbang, membutuhkan hampir 50 kali lebih sedikit gerbang dibandingkan LGN koneksi tetap.
- Stabilitas pelatihan hingga sepuluh lapisan dijamin melalui laju pembelajaran tinggi, estimator straight-through, dan pemangkasan jenis gerbang output konstan.
- Deskripsi neuron LUT memungkinkan pelatihan backpropagation yang stabil dalam jaringan sedalam enam lapisan dengan empat kali lebih sedikit parameter yang dapat dilatih.
- Algoritma pelatihan koneksi mencapai akurasi 98,88% pada LUTN menggunakan dua lapisan berisi 2000 LUT 6-input.
Pendekatan ini menunjukkan bahwa mengoptimalkan koneksi memungkinkan model yang jauh lebih efisien yang mempertahankan atau meningkatkan akurasi dibandingkan dengan arsitektur koneksi tetap tradisional.