Akshat Bubna, CTO de Modal, discute du changement stratégique de l'entreprise, passant de l'expérience développeur traditionnelle à l'« expérience agent », suite à une levée de fonds de série C de 355 millions de dollars. L'article soutient que les agents IA nécessitent une infrastructure plus serrée avec des boucles d'itération rapides, un contrôle programmatique et des sandboxes isolés, car ils ne peuvent pas combler le contexte manquant comme le font les développeurs humains.
- Modal construit un cloud IA axé sur l'inférence élastique, la capture d'instantanés GPU, DeFlash, le décodage spéculatif et Auto Endpoints.
- La plateforme utilise un pool de capacité de 17 clouds et prend en charge l'entraînement multi-nœuds sans serveur pour les charges de travail post-entraînement et de recherche.
- Les agents de production nécessitent des sandboxes spécialisés avec des garde-fous stricts, car les déploiements RL peuvent nécessiter jusqu'à 100 000 sandboxes.
Cette évolution comble les limites de Kubernetes pour les charges de travail IA bursty et fournit une infrastructure que les agents eux-mêmes peuvent opérer programmatiquement.