本文介绍了一种用于深度可微逻辑门网络（LGNs）和查找表网络（LUTNs）中连接的局部和全局优化的新方法。训练方法利用每个输入引脚上连接的概率分布，在并行学习最优门类型或 LUT 条目的同时，选择 merit 最高的连接。

  • 使用显著更少的逻辑门，连接优化的 LGNs 在 Yin-Yang、MNIST 和 Fashion-MNIST 基准测试中优于标准的固定连接变体。
  • 该方法在 MNIST 上实现了 98.92% 的准确率，仅使用两层各 8000 个门，所需的门数量比固定连接的 LGNs 少近 50 倍。
  • 通过高学习率、直通估计器以及修剪恒定输出门类型，确保了多达十层的训练稳定性。
  • LUT 神经元描述使得多达六层深度的网络能够进行稳定的反向传播训练，且可训练参数减少了四倍。
  • 连接训练算法在使用两层各 2000 个 6 输入 LUT 的 LUTNs 上实现了 98.88% 的准确率。

这种方法表明，优化连接可以构建出比传统固定连接架构更高效且保持或提高准确率的模型。