L'article soutient que l'utilisation des GPU, plutôt que l'intelligence du modèle, est devenue la contrainte principale de l'IA en entreprise, établissant des parallèles avec l'utilisation des avions dans le secteur aérien où les coûts s'accumulent à l'heure indépendamment de l'utilisation.
- L'économie de l'IA en entreprise repose désormais sur la quantité de matériel effectuant activement des calculs, alors que les coûts fixes d'infrastructure persistent tandis que les revenus dépendent des heures de calcul.
- La rareté du calcul persiste malgré la mise à l'échelle, les principaux laboratoires comme Anthropic et Meta sécurisant des engagements multi-gigawatts auprès de plusieurs fournisseurs pour rester compétitifs.
- Les entreprises font face à un passage de coûts API variables à des dépenses en capital fixes pour les GPU possédés, rendant la gestion des capacités inactives critique pour le retour sur investissement.
- Les clusters gaspillent des capacités en raison de décalages entre le provisionnement de pointe et la demande fluctuante, car différents charges de travail (entraînement, inférence, par lots) nécessitent des profils matériels conflictuels.
- Une gestion efficace des GPU nécessite une orchestration continue pour allouer des charges de travail spécifiques à des GPU appropriés en temps réel, plutôt que de s'appuyer sur un provisionnement statique.
L'article conclut que maximiser le retour sur les GPU installés est désormais un défi opérationnel continu nécessitant des couches d'allocation automatisées et intelligentes pour garantir que la capacité n'est pas seulement occupée, mais utilisée pour des tâches à haute valeur.