Direct-OPD дистиллирует выгоды слабого к сильному RL для более мощных моделей

Исследователи предлагают прямую дистилляцию на-policy (Direct-OPD) для передачи обучения с подкреплением с проверяемыми наградами от меньшей, более дешёвой модели-учителя к большей целевой модели. Этот метод рассматривает логарифмическое отношение между post-RL и pre-RL политиками учителя как плотный неявный сигнал награды для студента, избегая необходимости в явных моделях вознаграждения или RL с разреженными наградами на целевой модели.

• Direct-OPD сравнивает post-RL учителя с его собственной pre-RL базовой линией для создания плотного неявного сигнала награды.
• Подход применяет этот сигнал к собственным on-policy состояниям более сильного студента без обучения явной модели вознаграждения.
• Это позволяет последовательную композицию нескольких сдвигов политик и превосходит step-matched прямой RL.

Эта техника позволяет повторно использовать результаты RL в качестве неявных сигналов награды на разных масштабах моделей, значительно улучшая способности к рассуждению в более крупных моделях.