DecompRL учит модульную генерацию кода для снижения затрат на GPU в 50 раз

DecompRL — это алгоритм обучения с подкреплением, предназначенный для помощи большим языковым моделям в решении сложных задач программирования путем декомпозиции их на более мелкие, независимо решаемые подфункции. Этот подход переносит вычислительное узкое место с дорогостоящего вывода на GPU на дешевую оценку на CPU.

• Метод явно учится генерировать иерархические структуры кода, которые можно комбинировать для получения кандидатов в решения.
• Комбинация реализаций модулей дает до $k^{n}$ кандидатов, что снижает затраты на токены GPU примерно в 50 раз.
• На LiveCodeBench и CodeContests с использованием Qwen 2.5 7B и Code World Model 32B DecompRL превосходит стандартные базовые линии RL более чем при $10^5$ токенах на задачу.

Делая задачу проще за счет декомпозиции, а не полагаясь на повторную выборку, алгоритм позволяет моделям решать проблемы, недоступные для стандартных методов генерации.