Les chercheurs en NeuroAI ont formalisé la notion de contravariance en démontrant que pour n'importe quelles deux solutions Deep Neural Network (DNN) minimales à une tâche suffisamment difficile, un alignement faible basé sur des transformations affines garantit un alignement fort des axes privilégiés. Cet alignement « zippe » la hiérarchie du réseau, provoquant l'émergence d'axes privilégiés à partir de l'optimisation de bout en bout de la tâche.
- Un alignement faible des représentations du réseau garantit un alignement fort des axes privilégiés.
- L'alignement se propage vers le haut de la hiérarchie du réseau pendant l'optimisation.
- Une évolution convergente entre les réseaux neuronaux artificiels et les vrais cerveaux est probablement inévitable avec des tâches suffisamment fortes.
Ces résultats suggèrent que lorsque les tâches sont suffisamment difficiles, le choix de la métrique pour la comparaison inter-réseaux devient moins sensible.