AdaPrefix-GRPO adapta prefixos de traço para dobrar a precisão do GRPO em matemática difícil

O AdaPrefix-GRPO aborda o problema de gradientes desaparecidos na Group Relative Policy Optimization (GRPO) ajustando dinamicamente o comprimento dos prefixos de solução correta pré-pendidos aos problemas de treinamento. Ao manter uma taxa de sucesso próxima a 50%, o método garante que o sinal do gradiente permaneça forte, retirando eventualmente a assistência para que o modelo implantado resolva os problemas sem ajuda.

• Em tarefas de matemática difícil com FLOPs de treinamento correspondentes, o AdaPrefix-GRPO mais que dobra a precisão do GRPO para um modelo de 0.6B (ganho de 2.1x).
• Alcança uma melhoria de 1.6x no Qwen3-1.7B e uma melhoria de 1.7x nos benchmarks AIME.
• A abordagem reduz aproximadamente pela metade o comprimento do traço enquanto implementa apenas alterações na preparação de dados e uma máscara de perda nos tokens do prefixo.

O método é particularmente eficaz para modelos menores, oferecendo ganhos significativos de precisão sem exigir modificações no treinador subjacente.