研究者は、深層微分論理ゲートネットワーク（LGNs）およびルックアップテーブルネットワーク（LUTNs）における接続の部分的および完全な最適化手法を紹介します。このアプローチは、確率分布を使用して、各入力ピンに対して最も優れた接続を選択しつつ、最適なゲートタイプまたはLUTエントリを並列で学習します。

  • 接続最適化されたLGNsは、Yin-Yang、MNIST、Fashion-MNISTのベンチマークにおいて、標準的な固定接続LGNsよりも少ない論理ゲート数で優れた性能を発揮します。
  • この手法は、8000個のゲートを持つ2層構成でMNISTにおいて98.92%の精度を達成し、固定接続LGNsと比較して約50倍少ないゲート数で済みます。
  • 高い学習率、ストレートスルー推定量、定数出力ゲートタイプのトリミングにより、10層までのトレーニング安定性が確保されます。
  • LUTニューロンの記述により、4分の1のトレーニング可能パラメータで6層までのネットワークに対して安定した逆伝播トレーニングが可能になります。
  • このアルゴリズムは、2000個の6入力LUTを持つ2層構成のLUTNsにおいて98.88%の精度を達成します。

接続トレーニングアルゴリズムにより、従来の固定接続アプローチと同等以上の精度を維持しながら、大幅に効率的なモデルが実現可能になります。