심층 미분 가능한 논리 게이트 네트워크(LGNs) 및 룩업 테이블 네트워크(LUTNs)의 연결에 대한 부분적 및 완전한 최적화를 위한 새로운 방법이 소개되었습니다. 이 학습 접근 방식은 각 입력 핀에 대한 연결의 확률 분포를 활용하여 최적의 게이트 유형 또는 LUT 엔트리를 병렬로 학습하면서 가장 우수한 연결을 선택합니다.

  • 연결이 최적화된 LGNs는 훨씬 적은 논리 게이트 수로 Yin-Yang, MNIST 및 Fashion-MNIST 벤치마크에서 표준 고정 연결 변형보다 우수합니다.
  • 이 방법은 8000개의 게이트를 가진 두 레이어로 MNIST에서 98.92%의 정확도를 달성하며, 고정 연결 LGNs보다 거의 50배 적은 게이트 수를 요구합니다.
  • 최대 10개 레이어까지의 학습 안정성은 높은 학습률, 스트레이트쓰루 추정량 및 상수 출력 게이트 유형의 트리밍을 통해 보장됩니다.
  • LUT 뉴런 설명은 4분의 1의 학습 가능한 매개변수로 6개 레이어 깊이의 네트워크에서 안정적인 역전파 학습을 가능하게 합니다.
  • 연결 학습 알고리즘은 2000개의 6입력 LUT를 가진 두 레이어를 사용하여 LUTNs에서 98.88%의 정확도를 달성합니다.

이 접근 방식은 최적화된 연결이 전통적인 고정 연결 아키텍처와 비교하여 정확도를 유지하거나 향상시키면서 훨씬 더 효율적인 모델을 가능하게 함을 보여줍니다.