공변성 이론은 최소 DNN 솔루션이 특권 축을 통해 정렬됨을 보여줍니다

NeuroAI 연구자들은 충분히 어려운 작업에 대한 임의의 두 최소 Deep Neural Network (DNN) 솔루션에서 아핀 매핑에 기반한 약한 정렬이 특권 축의 강한 정렬을 보장함을 입증함으로써 공변성의 개념을 공식화했습니다. 이 정렬은 네트워크 계층을 지퍼처럼 결합하여, 엔드투엔드 작업 최적화로부터 특권 축이 나타나게 합니다.

• 네트워크 표현의 약한 정렬은 특권 축의 강한 정렬을 보장합니다.
• 최적화 동안 정렬은 네트워크 계층을 따라 전파됩니다.
• 인공 뇌 네트워크와 실제 뇌 네트워크 사이에는 충분히 강력한 작업에서 수렴적 진화가 필연적으로 발생할 가능성이 높습니다.

이러한 결과는 작업이 충분히 어려울 때, 네트워크 간 비교를 위한 측정 기준(metric)의 선택이 덜 민감해진다는 것을 시사합니다.