深い微分可能な論理ゲートネットワーク（LGNs）およびルックアップテーブルネットワーク（LUTNs）における接続の部分的および完全な最適化のための新規手法が紹介されました。このトレーニングアプローチは、各入力ピンに対する接続上の確率分布を利用し、最適なゲートタイプまたはLUTエントリを並列に学習しながら、最も優れた接続を選択します。

  • 接続最適化されたLGNsは、大幅に少ない論理ゲート数でYin-Yang、MNIST、Fashion-MNISTベンチマークにおいて標準的な固定接続バリアントを上回ります。
  • この手法は2層の8000ゲートでMNISTにおいて98.92%の精度を達成し、固定接続LGNsと比較してほぼ50倍少ないゲート数で済みます。
  • 最大10層までのトレーニング安定性は、高い学習率、ストレートスルー推定量、および定数出力ゲートタイプのトリミングによって確保されます。
  • LUTニューロンの記述は、4分の1のトレーニング可能なパラメータで6層までのネットワークにおける安定した逆伝播トレーニングを可能にします。
  • 接続トレーニングアルゴリズムは、2層の2000個の6入力LUTを使用してLUTNsにおいて98.88%の精度を達成します。

このアプローチは、従来の固定接続アーキテクチャと比較して精度を維持または向上させながら、最適化された接続が大幅により効率的なモデルを実現できることを示しています。