OpenAI масштабировала свою внутреннюю платформу онлайн-хранения данных Habitat для обработки более 70 миллионов запросов в секунду для более чем миллиарда еженедельных пользователей ChatGPT почти в 40 географических регионах. Система теперь обслуживает более 500 петабайт данных, эволюционировав из простой клиентской библиотеки на Python в сложный распределённый сервис.
- Habitat обрабатывает более 70 млн запросов в секунду и поддерживает более 1 млрд пользователей каждую неделю.
- Платформа обслуживает более 500 PB данных почти в 40 географических регионах.
- OpenAI перевела Habitat из клиентской библиотеки в самостоятельный сервис, чтобы снизить операционную сложность и повысить надёжность.
- Команда оптимизировала производительность Python, устранив задержки планирования asyncio и решив проблемы балансировки нагрузки с помощью пула соединений.
Этот архитектурный переход позволяет OpenAI централизованно обеспечивать соблюдение политик безопасности и упрощать развертывание, гарантируя быстрый и надёжный доступ к данным для её растущего набора продуктов.