El CTO de Modal, Akshat Bubna, discute el cambio estratégico de la empresa desde la experiencia tradicional del desarrollador hacia la "experiencia del agente" tras una ronda de financiación Serie C de $355M. El artículo argumenta que los agentes de IA requieren una infraestructura más ajustada con bucles de iteración rápidos, control programático y sandboxes aisladas, ya que no pueden suplir el contexto faltante como lo hacen los desarrolladores humanos.
- Modal está construyendo una nube de IA enfocada en inferencia elástica, snapshots de GPU, DeFlash, decodificación especulativa y Auto Endpoints.
- La plataforma utiliza un pool de capacidad de 17 nubes y soporta entrenamiento multi-nodo sin servidor para cargas de trabajo de post-entrenamiento e investigación.
- Los agentes de producción requieren sandboxes especializadas con barreras duras, ya que los despliegues de RL pueden necesitar hasta 100.000 sandboxes.
Esta evolución aborda las limitaciones de Kubernetes para cargas de trabajo de IA intermitentes y proporciona infraestructura que los propios agentes pueden operar programáticamente.