Pesquisadores de NeuroAI formalizaram a noção de contravariância demonstrando que para quaisquer duas soluções mínimas de Redes Neurais Profundas (DNN) para uma tarefa suficientemente difícil, o alinhamento fraco baseado em mapeamentos afins garante um alinhamento forte dos eixos privilegiados. Esse alinhamento fecha a hierarquia da rede, fazendo com que os eixos privilegiados emergam da otimização de ponta a ponta da tarefa.
- O alinhamento fraco das representações da rede garante o alinhamento forte dos eixos privilegiados.
- O alinhamento se propaga para cima na hierarquia da rede durante a otimização.
- A evolução convergente entre redes cerebrais artificiais e reais é provavelmente inevitável com tarefas suficientemente difíceis.
Esses resultados sugerem que quando as tarefas são suficientemente difíceis, a escolha da métrica para comparação inter-redes se torna menos sensível.