AdaPrefix-GRPO решает проблему исчезающих градиентов в Group Relative Policy Optimization (GRPO), динамически корректируя длину правильных префиксов решений, добавляемых к обучающим задачам. Поддерживая уровень успеха около 50%, метод гарантирует, что сигнал градиента остается сильным, и в конечном итоге прекращает помощь, чтобы развернутая модель решала задачи самостоятельно.

  • На сложных математических задачах при сопоставимых объемах вычислений (FLOPs) AdaPrefix-GRPO более чем вдвое увеличивает точность GRPO для модели на 0.6B (прирост 2.1x).
  • Достигается улучшение в 1.6 раза на Qwen3-1.7B и улучшение в 1.7 раза на бенчмарках AIME.
  • Подход примерно вдвое сокращает длину трассировки, реализуя только изменения в подготовке данных и маску потерь для токенов префикса.

Метод особенно эффективен для меньших моделей, обеспечивая значительный прирост точности без необходимости модификации базового тренировочного процесса.