Os autores propõem o AdaPrefix-GRPO, um método que ajusta dinamicamente o comprimento de um prefixo de solução correto durante o treinamento de Group Relative Policy Optimization (GRPO). Ao tratar o comprimento do prefixo como uma alavanca controlada por feedback, o sistema mantém uma taxa de sucesso próxima a 50% para maximizar o sinal do gradiente antes de retirar completamente a assistência.
- A abordagem impede que o GRPO trave em problemas difíceis onde as vantagens relativas ao grupo desaparecem devido a sucessos zero.
- Aumenta a precisão em mais de 2x para um modelo de 0.6B e 1.6x para Qwen3-1.7B em benchmarks de matemática difícil com FLOPs de treinamento correspondentes.
- O método reduz aproximadamente pela metade o comprimento do rastro enquanto requer apenas alterações na preparação de dados e uma máscara de perda nos tokens do prefixo.
Esta técnica permite que os modelos aprendam mais efetivamente de exemplos de fronteira, garantindo que a dificuldade seja ajustada continuamente para corresponder à capacidade atual do modelo.