OpenAIは、内部オンラインストレージプラットフォームであるHabitatをスケーリングし、ほぼ40の地理的領域にわたる10億人以上の週次ChatGPTユーザーに対して毎秒7000万件以上のリクエストを処理可能にした。このシステムは現在500ペタバイト以上のデータを扱っており、単純なPythonクライアントサイドライブラリから複雑な分散サービスへと進化している。

  • Habitatは毎秒7000万件以上のリクエストを管理し、週次で10億人以上のユーザーをサポートする。
  • このプラットフォームはほぼ40の地理的領域にわたって500ペタバイト以上のデータを処理する。
  • OpenAIは運用の複雑さを軽減し信頼性を向上させるため、Habitatをクライアントサイドライブラリからスタンドアロンサービスへと移行した。
  • チームはasyncioスケジューリングの遅延に対処し、コネクションプーリングによる負荷分散の問題を修正することでPythonのパフォーマンスを最適化した。

このアーキテクチャのシフトにより、OpenAIはセキュリティポリシーを一元的に適用しデプロイメントを効率化し、拡大する製品スイートに対して高速かつ信頼性の高いデータアクセスを保証している。