Los investigadores presentan un método para la optimización parcial y completa de las conexiones en redes de puertas lógicas diferenciables profundas (LGN) y redes de tablas de búsqueda (LUTN). El enfoque utiliza una distribución de probabilidad para seleccionar la conexión con mayor mérito por pin de entrada mientras aprende tipos de puerta o entradas LUT óptimas en paralelo.
- Las LGN optimizadas en conexiones superan a las LGN estándar de conexiones fijas en los benchmarks Yin-Yang, MNIST y Fashion-MNIST utilizando mucho menos puertas lógicas.
- El método alcanza una precisión del 98.92% en MNIST con dos capas de 8000 puertas, requiriendo casi 50 veces menos puertas que las LGN de conexiones fijas.
- La estabilidad del entrenamiento hasta diez capas se asegura mediante altas tasas de aprendizaje, estimadores de paso directo y el recorte de tipos de puerta de salida constante.
- Una descripción de neurona LUT permite un entrenamiento estable por retropropagación para redes de hasta seis capas de profundidad con cuatro veces menos parámetros entrenables.
- El algoritmo alcanza una precisión del 98.88% en LUTN utilizando dos capas de 2000 LUT de 6 entradas.
El algoritmo de entrenamiento de conexiones permite modelos significativamente más eficientes que mantienen o superan la precisión de los enfoques tradicionales de conexiones fijas.