OpenAI ha escalado su plataforma interna de almacenamiento en línea, Habitat, para manejar más de 70 millones de solicitudes por segundo para más de mil millones de usuarios semanales de ChatGPT en casi 40 regiones geográficas. El sistema ahora sirve más de 500 petabytes de datos, evolucionando desde una sencilla biblioteca del lado del cliente en Python hasta un servicio distribuido complejo.
- Habitat gestiona más de 70M solicitudes por segundo y soporta a más de 1B personas cada semana.
- La plataforma maneja más de 500 PB de datos en casi 40 regiones geográficas.
- OpenAI transformó Habitat de una biblioteca del lado del cliente a un servicio independiente para reducir la complejidad operativa y mejorar la fiabilidad.
- El equipo optimizó el rendimiento de Python abordando los retrasos en la programación de asyncio y corrigiendo problemas de balanceo de carga con agrupación de conexiones.
Este cambio arquitectónico permite a OpenAI aplicar centralmente las políticas de seguridad y agilizar los despliegues, asegurando un acceso rápido y fiable a los datos para su creciente conjunto de productos.