Les chercheurs présentent Ring-Zero, un pipeline d'entraînement stable qui met à l'échelle l'apprentissage par renforcement avec des récompenses vérifiables vers des modèles disposant d'un billion de paramètres, répondant ainsi à des problèmes tels que la redondance des tokens et la mauvaise lisibilité observés dans les mises à l'échelle naïves.
Le système intègre des optimisations algorithmiques telles que l'échantillonnage d'importance tronqué et le contrôle en précision mixte. Les expériences sur sept benchmarks mathématiques montrent que le modèle atteint des performances compétitives tout en développant spontanément des comportements cognitifs avancés, notamment la vérification par soi-même et le raisonnement parallèle.
Un cadre d'évaluation structuré démontre les avantages du modèle dans la production de traces de raisonnement compréhensibles, reproductibles et efficaces, validant ainsi que la mise à l'échelle à 1T de paramètres améliore l'efficacité de l'échantillonnage et les plafonds de performance.