CTO компании Modal Акшат Бубна обсуждает стратегический переход компании от традиционного опыта разработчика к «опыту агента» после раунда финансирования серии C на $355 млн. В статье утверждается, что ИИ-агентам требуется более тесная инфраструктура с быстрыми циклами итераций, программным управлением и изолированными песочницами, поскольку они не могут восполнять отсутствующий контекст, как человеческие разработчики.
- Modal создает облако для ИИ, ориентированное на эластичный инференс, снимки GPU, DeFlash, спекулятивное декодирование и Auto Endpoints.
- Платформа использует пул емкостью 17 облаков и поддерживает серверную многоузловую тренировку для нагрузок постобучения и исследований.
- Производственные агенты требуют специализированных песочниц с жесткими ограничителями, поскольку развертывание RL может потребовать до 100 000 песочниц.
Эта эволюция решает ограничения Kubernetes для всплесковых ИИ-нагрузок и предоставляет инфраструктуру, которой агенты могут управлять программно.