OpenAI는 거의 40개 지리적 지역에 걸쳐 있는 10억 명 이상의 주간 ChatGPT 사용자를 위해 내부 온라인 스토리지 플랫폼인 Habitat를 초당 7천만 건 이상의 요청을 처리할 수 있도록 확장했습니다. 이 시스템은 이제 단순한 Python 클라이언트 측 라이브러리에서 복잡한 분산 서비스로 진화하여 500페타바이트 이상의 데이터를 제공합니다.
- Habitat는 초당 7천만 건 이상의 요청을 관리하며 매주 10억 명 이상의 사용자를 지원합니다.
- 플랫폼은 거의 40개 지리적 지역에 걸쳐 500페타바이트 이상의 데이터를 처리합니다.
- OpenAI는 운영 복잡성을 줄이고 신뢰성을 개선하기 위해 Habitat를 클라이언트 측 라이브러리에서 독립형 서비스로 전환했습니다.
- 팀은 asyncio 스케줄링 지연을 해결하고 연결 풀링과 관련된 부하 분산 문제를 수정하여 Python 성능을 최적화했습니다.
이러한 아키텍처 변화는 OpenAI가 보안 정책을 중앙에서 강제하고 배포를 간소화하여 성장하는 제품 군에 대해 빠르고 신뢰할 수 있는 데이터 접근성을 보장할 수 있게 합니다.