研究人员提出了一种对深度可微逻辑门网络（LGN）和查找表网络（LUTN）中的连接进行部分和完全优化的方法。该方法使用概率分布来选择每个输入引脚上 merit 最高的连接，同时并行学习最优的门类型或 LUT 条目。

  • 在 Yin-Yang、MNIST 和 Fashion-MNIST 基准测试中，连接优化的 LGN 使用更少的逻辑门就优于标准的固定连接 LGN。
  • 该方法在 MNIST 上达到了 98.92% 的准确率，使用了两个包含 8000 个门的层，所需的门数量比固定连接的 LGN 少了近 50 倍。
  • 通过高学习率、直通估计器（straight-through estimators）以及修剪恒定输出门类型，确保了多达十层的训练稳定性。
  • LUT 神经元描述使得深度达六层的网络能够进行稳定的反向传播训练，且可训练参数减少了四倍。
  • 该算法在使用两个包含 2000 个 6 输入 LUT 的层时，在 LUTN 上达到了 98.88% 的准确率。

连接训练算法允许构建显著更高效的模型，同时保持或超越传统固定连接方法的准确率。