OpenAI는 학습 중 모든 연산이 이종 상용 하드웨어에서 비트 단위의 정확도로 독립적으로 재현 가능한 체계 하에 훈련된 언어 모델인 Open-1B를 출시했습니다. 이 접근 방식은 GPU 커널 축소 및 데이터 배치 순서화와 같은 비결정론적 원인에 명확한 순서를 부과함으로써 오픈소스 모델에 내재된 재현성 문제를 해결합니다.
이번 출시에는 전체 사전 학습 데이터셋, 모든 중간 체크포인트, 학습 코드베이스 및 분산 학습 실행의 개별 단계를 독립적인 감사인이 인증할 수 있는 감사 하네스가 포함되어 있습니다.
이 새로운 모델 투명성 계층은 공개되지 않은 데이터, 주입된 편향 또는 백도어를 제거하고 출시된 체크포인트가 선언된 학습 레시피를 사용하여 실제로 생성되었음을 사용자가 검증할 수 있도록 하는 것을 목표로 합니다.