역전파 없이 몬테카를로 방법으로 심층 신경망 훈련

연구에 따르면 간단한 몬테카를로 알고리즘이 기울기나 역전파에 의존하지 않고도 심층 신경망을 효과적으로 훈련할 수 있음이 입증되었습니다. 이 방법은 매개변수를 무작위로 변형하고 손실이 감소하는 경우에만 변경 사항을 유지하여 기울기 소실 및 폭발 문제를 우회합니다.

• 이 접근 방식은 단일 GPU에서 작동하며 배치 정규화나 잔차 연결이 필요하지 않습니다.
• 순수 가지치기 훈련, 이산 가중치, 가우시안과 같은 비전통적 전달 함수를 지원합니다.
• 20개 이상의 레이어가 있는 네트워크, 16,384개의 뉴런을 가진 넓은 네트워크, MNIST 및 Tiny Shakespeare 위의 Transformer에서 타당성이 입증되었습니다.

이 기울기 없는 방법은 신경망의 자기 조직화에 대한 보완적인 관점을 제공하며 물리적으로 영감을 받은 심층 학습 시스템을 구축하기 위한 대안을 제공합니다.