OpenAI выпустила Open-1B, языковую модель, обученную в условиях, при которых каждая операция во время обучения может быть независимо воспроизведена на разнородном стандартном оборудовании с битовой точностью. Этот подход решает проблемы воспроизводимости, присущие моделям с открытым исходным кодом, путем установления строгого порядка для источников недетерминизма, таких как редукция GPU-ядер и порядок формирования пакетов данных.
В релиз включены полный датасет для предобучения, каждый промежуточный чекпоинт, код обучения и инструмент аудита, позволяющий независимым аудитам проверять отдельные шаги распределенного процесса обучения.
Этот новый уровень прозрачности моделей направлен на устранение скрытых данных, внедренных смещений или бэкдоров, позволяя пользователям убедиться, что выпущенный чекпоинт действительно был получен с использованием заявленного рецепта обучения.