Исследователи представляют Ring-Zero, стабильный конвейер обучения, который масштабирует обучение с подкреплением с верифицируемыми наградами на модели с одним триллионом параметров, решая такие проблемы, как избыточность токенов и плохая читаемость, обнаруженные при наивном масштабировании.
Система включает алгоритмические оптимизации, такие как обрезанная важная выборка и смешанная точность управления. Эксперименты на семи математических бенчмарках показывают, что модель достигает конкурентоспособных результатов, спонтанно развивая продвинутые когнитивные поведения, включая самопроверку и параллельное рассуждение.
Структурированная система оценки демонстрирует преимущества модели в создании понятных, воспроизводимых и эффективных цепочек рассуждений, подтверждая, что масштабирование до 1 трлн параметров повышает эффективность выборки и верхние границы производительности.