Авторы предлагают AdaPrefix-GRPO, метод, который динамически регулирует длину правильного префикса решения во время обучения Group Relative Policy Optimization (GRPO). Рассматривая длину префикса как регулятор с обратной связью, система поддерживает уровень успеха около 50% для максимизации градиентного сигнала перед полным прекращением помощи.

  • Подход предотвращает застревание GRPO на сложных задачах, где групповые относительные преимущества исчезают из-за нулевых успехов.
  • Он увеличивает точность более чем в 2 раза для модели 0.6B и в 1.6 раза для Qwen3-1.7B на сложных математических бенчмарках при сопоставимых объемах вычислений (FLOPs) во время обучения.
  • Метод примерно вдвое сокращает длину трассировки, требуя только изменений в подготовке данных и маски потерь для токенов префикса.

Эта техника позволяет моделям эффективнее учиться на примерах передовых решений, обеспечивая непрерывную адаптацию сложности к текущим возможностям модели.