Los investigadores presentan Ring-Zero, una canalización de entrenamiento estable que escala el aprendizaje por refuerzo con recompensas verificables a modelos con un billón de parámetros, abordando problemas como la redundancia de tokens y la mala legibilidad encontrados en el escalado ingenuo.
El sistema incorpora optimizaciones algorítmicas como muestreo de importancia recortado y control de precisión mixta. Los experimentos en siete benchmarks matemáticos muestran que el modelo alcanza un rendimiento competitivo mientras desarrolla espontáneamente comportamientos cognitivos avanzados, incluyendo autoverificación y razonamiento paralelo.
Un marco de evaluación estructurado demuestra las ventajas del modelo para producir trazas de razonamiento comprensibles, reproducibles y eficientes, validando que escalar a 1T parámetros mejora la eficiencia de muestreo y los techos de rendimiento.