O CTO da Modal, Akshat Bubna, discute a mudança estratégica da empresa da experiência tradicional do desenvolvedor para a "experiência do agente" após uma rodada de financiamento Série C de $355M. O artigo argumenta que os agentes de IA exigem uma infraestrutura mais apertada com loops de iteração rápidos, controle programático e sandboxes isoladas, pois não podem preencher o contexto ausente como os desenvolvedores humanos.
- A Modal está construindo uma nuvem de IA focada em inferência elástica, snapshots de GPU, DeFlash, decodificação especulativa e Auto Endpoints.
- A plataforma utiliza um pool de capacidade de 17 nuvens e suporta treinamento multi-nodo sem servidor para cargas de trabalho de pós-treinamento e pesquisa.
- Agentes de produção requerem sandboxes especializadas com barreiras rígidas, pois os rollouts de RL podem necessitar de até 100.000 sandboxes.
Essa evolução aborda as limitações do Kubernetes para cargas de trabalho de IA intermitentes e fornece infraestrutura que os próprios agentes podem operar programaticamente.