Контролируемое исследование 18 запусков на языковых и зрительно-языковых моделях масштаба 4B и 8B показывает, что Group Relative Policy Optimization (GRPO) не достоверно улучшает показатели успеха по сравнению с сильным контролируемым базовым уровнем на освоенных задачах. Умеренные и высокие скорости обучения ухудшают производительность, в то время как метод помогает только тогда, когда выборочная политика уже успешнее жадной.

  • Никакая конфигурация не улучшила показатели успеха при вариациях скорости обучения, веса KL, семени, инициализации и обрезания.
  • Нулевой результат сохраняется при парном тестировании с 25 семенами оценки и 6 семенами обучения.
  • GRPO увеличивает успех на 22 балла на задачах, где награда достижима путем выборки.
  • Умеренные скорости обучения ухудшают блоки внимания и MLP, в то время как высокие скорости вызывают коллапс без отслеживаемой локализации группы.
  • На 4B эффективный ранг в поздних слоях коррелирует с возможностями; на 8B эта связь исчезает.

Неудача указывает на то, что GRPO неэффективен для агентов, которые уже освоили задачу, так как он в основном перестраивает существующее поведение, а не добавляет новые навыки.