Pesquisadores introduzem um método para otimização parcial e total das conexões em redes de portas lógicas diferenciáveis profundas (LGN) e redes de tabelas de busca (LUTN). A abordagem usa uma distribuição de probabilidade para selecionar a conexão com maior mérito por pino de entrada enquanto aprende tipos de porta ou entradas LUT ótimas em paralelo.

  • LGNs com conexões otimizadas superam LGNs padrão de conexões fixas nos benchmarks Yin-Yang, MNIST e Fashion-MNIST usando muito menos portas lógicas.
  • O método alcança 98.92% de precisão no MNIST com duas camadas de 8000 portas, exigindo quase 50 vezes menos portas do que as LGNs de conexões fixas.
  • A estabilidade do treinamento até dez camadas é garantida por altas taxas de aprendizado, estimadores straight-through e o corte de tipos de porta de saída constante.
  • Uma descrição de neurônio LUT permite treinamento estável por retropropagação para redes com até seis camadas de profundidade, com quatro vezes menos parâmetros treináveis.
  • O algoritmo alcança 98.88% de precisão em LUTNs usando duas camadas de 2000 LUTs de 6 entradas.

O algoritmo de treinamento de conexões permite modelos significativamente mais eficientes que mantêm ou excedem a precisão das abordagens tradicionais de conexões fixas.