Une nouvelle méthode est introduite pour l'optimisation partielle et complète des connexions dans les réseaux de portes logiques différentiables profonds (LGN) et les réseaux de tables de consultation (LUTN). L'approche d'entraînement utilise une distribution de probabilité sur les connexions par broche d'entrée, sélectionnant la connexion au mérite le plus élevé tout en appariant les types de portes optimaux ou les entrées LUT en parallèle.
- Les LGN optimisés pour les connexions surpassent les variantes standard à connexions fixes sur les benchmarks Yin-Yang, MNIST et Fashion-MNIST avec significativement moins de portes logiques.
- La méthode atteint 98,92 % de précision sur MNIST avec deux couches de 8000 portes, nécessitant presque 50 fois moins de portes que les LGN à connexions fixes.
- La stabilité de l'entraînement jusqu'à dix couches est assurée par des taux d'apprentissage élevés, des estimateurs straight-through et l'élagage des types de portes à sortie constante.
- Une description de neurone LUT permet un entraînement par rétropropagation stable dans des réseaux profonds de six couches avec quatre fois moins de paramètres entraînables.
- L'algorithme d'entraînement des connexions atteint 98,88 % de précision sur les LUTN en utilisant deux couches de 2000 LUT à 6 entrées.
Cette approche démontre que l'optimisation des connexions permet des modèles substantiellement plus efficaces qui maintiennent ou améliorent la précision par rapport aux architectures traditionnelles à connexions fixes.