Исследование рассматривает задачу принятия решений при фиксированном бюджете по распределению ресурсов постобучения с использованием обучения с подкреплением (RL), конкретно анализируя, следует ли отдавать приоритет более крупным политикам, продленному обучению, расширенному поиску руллов или более сильной обратной связи от функции вознаграждения.
- Авторы вводят систему учета FLOP для постобучения GRPO, которая разбивает вычисления на поиск/руллы, обновление политики/обучение и оценку модели вознаграждения.
- Анализ политик Qwen2.5 с адаптацией LoRA выявляет условные границы распределения, где оптимальная стратегия зависит от размера модели, бюджета и систем вознаграждения.
- Более крупные политики потребляют больше вычислений на токен, что приводит к меньшему числу обновлений или руллов при том же общем бюджете по сравнению с более мелкими моделями.
- Архитектура системы вознаграждения существенно влияет на учет; правила-based вознаграждения тратят большую часть вычислений не связанных с обновлением на руллы, тогда как обратная связь в стиле PRM выделяет видимый бюджет на инференс.
- В статье предлагается протокол RACE в виде диагностической пилотной сетки для выявления режимов распределения до дорогостоящих проверочных запусков.
Авторы утверждают, что статьи о постобучении RL должны сообщать общее количество FLOPs наряду с конкретным разделением вычислений между размером модели, поиском, обучением и обратной связью.