Patience Strong soutient que les réseaux neuronaux actuels consomment une puissance de calcul excessive en émulant des circuits dans un logiciel plutôt que de les implémenter comme matériel physique. L'article suggère de remplacer cette émulation par un dispositif semi-conducteur où les poids et les biais sont stockés dans une mémoire non volatile.
- Les poids et les biais sont réalisés sous forme de convertisseurs numérique-analogique (DAC) avec des registres non volatils qui survivent à la perte d'alimentation.
- Les fonctions d'activation sont implémentées à l'aide de transistors à commutation rapide qui se déclenchent en fonction de seuils de tension ou de courant.
- Le dispositif traite les neurones en parallèle, offrant des améliorations potentielles de vitesse par rapport aux GPU et une consommation d'énergie significativement plus faible.
- Les versions successives de l'IA peuvent être écrasées directement sur la puce non volatile, maintenant la parité avec les pratiques actuelles de mise à jour.
L'auteur soutient que cette approche élimine le besoin d'ordinateurs conventionnels pour traiter la logique du réseau, ne les nécessitant que pour la gestion des entrées et des sorties.