연구자들은 심층 미분 논리 게이트 네트워크(LGNs) 및 룩업 테이블 네트워크(LUTNs)의 연결에 대한 부분적 및 완전한 최적화 방법을 제시합니다. 이 접근 방식은 확률 분포를 사용하여 각 입력 핀마다 가장 우수한 연결을 선택하는 동시에 최적의 게이트 유형 또는 LUT 엔tries를 병렬로 학습합니다.

  • 연결 최적화된 LGNs는 Yin-Yang, MNIST, Fashion-MNIST 벤치마크에서 표준 고정 연결 LGNs보다 훨씬 적은 논리 게트로 뛰어난 성능을 보입니다.
  • 이 방법은 8000개의 게이트를 가진 2층 구조로 MNIST에서 98.92%의 정확도를 달성하며, 고정 연결 LGNs보다 약 50배 적은 게트를 요구합니다.
  • 높은 학습률, 스트레이트쓰루 추정량(straight-through estimators), 그리고 상수 출력 게이트 유형 제거를 통해 최대 10층까지 훈련 안정성이 보장됩니다.
  • LUT 뉴런 설명은 4분의 1의 학습 가능한 파라미터로 깊이가 6층인 네트워크에 대해 안정적인 역전파 훈련을 가능하게 합니다.
  • 이 알고리즘은 2000개의 6입력 LUT를 가진 2층 구조의 LUTNs에서 98.88%의 정확도를 달성합니다.

연결 훈련 알고리즘은 기존의 고정 연결 접근 방식과 동등하거나 더 높은 정확도를 유지하면서 훨씬 더 효율적인 모델을 가능하게 합니다.