A OpenAI escalou sua plataforma interna de armazenamento online, chamada Habitat, para lidar com mais de 70 milhões de requisições por segundo para mais de um bilhão de usuários semanais do ChatGPT em quase 40 regiões geográficas. O sistema agora atende a mais de 500 petabytes de dados, evoluindo de uma simples biblioteca cliente-side em Python para um serviço distribuído complexo.
- O Habitat gerencia mais de 70M de requisições por segundo e suporta mais de 1B de pessoas a cada semana.
- A plataforma lida com mais de 500 PB de dados em quase 40 regiões geográficas.
- A OpenAI transformou o Habitat de uma biblioteca cliente-side em um serviço independente para reduzir a complexidade operacional e melhorar a confiabilidade.
- A equipe otimizou o desempenho do Python abordando atrasos no agendamento do asyncio e corrigindo problemas de balanceamento de carga com pooling de conexões.
Essa mudança arquitetural permite que a OpenAI aplique políticas de segurança centralmente e simplifique as implantações, garantindo acesso rápido e confiável aos dados para seu crescente conjunto de produtos.