Les chercheurs présentent une méthode pour l'optimisation partielle et complète des connexions dans les réseaux de portes logiques différentiables profonds (LGN) et les réseaux de tables de consultation (LUT). L'approche utilise une distribution de probabilité pour sélectionner la connexion la plus méritoire par broche d'entrée tout en apprenant parallèlement les types de portes optimaux ou les entrées LUT.
- Les LGN à connexions optimisées surpassent les LGN standard à connexions fixes sur les benchmarks Yin-Yang, MNIST et Fashion-MNIST avec beaucoup moins de portes logiques.
- La méthode atteint 98,92 % de précision sur MNIST avec deux couches de 8000 portes, nécessitant presque 50 fois moins de portes que les LGN à connexions fixes.
La stabilité de l'entraînement jusqu'à dix couches est assurée par des taux d'apprentissage élevés, des estimateurs straight-through et l'élagage des types de portes à sortie constante.
- Une description du neurone LUT permet un entraînement par rétropropagation stable pour des réseaux allant jusqu'à six couches avec quatre fois moins de paramètres entraînables.
- L'algorithme atteint 98,88 % de précision sur les LUTN avec deux couches de 2000 LUT à 6 entrées.
L'algorithme d'entraînement des connexions permet des modèles significativement plus efficaces qui maintiennent ou dépassent la précision des approches traditionnelles à connexions fixes.