DecompRL은 모듈화된 코드 생성을 학습하여 GPU 비용을 50배 절감

DecompRL은 대규모 언어 모델이 복잡한 코딩 문제를 더 작고 독립적으로 해결 가능한 하위 함수로 분해하여 해결할 수 있도록 설계된 강화 학습 알고리즘입니다. 이 접근 방식은 비싼 GPU 추론에서 저렴한 CPU 평가로 계산 병목 현상을 이동시킵니다.

• 이 방법은 후보 솔루션을 생성하기 위해 재결합할 수 있는 계층적 코드 구조를 명시적으로 학습합니다.
• 모듈 구현을 재결합하면 최대 $k^{n}$개의 후보가 생성되어 GPU 토큰 비용을 약 50배 절감합니다.
• Qwen 2.5 7B 및 Code World Model 32B를 사용한 LiveCodeBench와 CodeContests에서 DecompRL은 문제당 10^5 토큰을 초과하여 표준 RL 기반선보다 우수합니다.

반복 샘플링에 의존하는 대신 분해를 통해 작업을 더 쉽게 만듦으로써, 이 알고리즘은 모델이 표준 생성 방법으로 도달할 수 없는 문제를 해결할 수 있게 합니다.