Ring-Zero, 제로 RL을 1T 파라미터로 확장하여 돌발적 추론 구현

연구자들은 검증 가능한 보상과 함께 강화학습을 1조 파라미터 모델로 확장하는 안정적인 학습 파이프라인인 Ring-Zero를 제시했으며, 이는 순진한 확장에서 발견되는 토큰 중복 및 가독성 부족 등의 문제를 해결합니다.

이 시스템은 클립드 임포트런스 샘플링과 혼합 정밀도 제어와 같은 알고리즘 최적화를 통합합니다. 7개의 수학 벤치마크에 대한 실험 결과, 모델이 경쟁력 있는 성능을 달성하면서도 자기 검증 및 병렬 추론과 같은 고급 인지 행동을 자발적으로 발전시키는 것으로 나타났습니다.

구조화된 평가 프레임워크는 이해 가능하고 재현 가능하며 효율적인 추론 트레이스 생성에서 모델의 우위를 보여주며, 1T 파라미터로 확장하는 것이 샘플 효율성과 성능 한계를 향상시킨다는 것을 검증합니다.