OpenAI ha lanzado Open-1B, un modelo de lenguaje entrenado bajo un régimen donde cada operación durante el entrenamiento es reproducible de forma independiente en hardware comercial heterogéneo con certeza a nivel de bits. Este enfoque aborda los problemas de reproducibilidad inherentes a los modelos de código abierto al imponer un orden definido sobre las fuentes de no determinismo, como las reducciones de kernels de GPU y el ordenamiento de lotes de datos.
El lanzamiento incluye el conjunto de datos completo de preentrenamiento, cada punto de control intermedio, la base de código del entrenamiento y un arnés de auditoría que permite a auditores independientes certificar pasos individuales de la ejecución distribuida del entrenamiento.
Esta nueva capa de transparencia del modelo tiene como objetivo eliminar datos no divulgados, sesgos inyectados o puertas traseras al permitir a los usuarios verificar que un punto de control lanzado fue realmente producido utilizando la receta de entrenamiento declarada.