Исследователи предлагают Masters, фреймворк прогрессивного обучения с подкреплением на основе маскирования для дистилляции крупномасштабных зрительно-языковых моделей в компактные версии, подходящие для развертывания на периферийных устройствах. Метод решает проблему нестабильности, вызванной разрывом в размерах между моделями учителя и студента.
- Masters маскирует недоминирующие веса учителя для снижения сложности, затем прогрессивно восстанавливает емкость во время обучения, чтобы обеспечить более плавное обучение.
- Он интегрирует этап офлайн RL, используя предварительно сгенерированные ответы от замаскированных учителей, избегая вычислительных затрат онлайн-парадигм «размышление-ответ».
- Фреймворк использует два дополняющих друг друга вознаграждения: вознаграждение за точность для правильности ответа и вознаграждение за дистилляцию, количественно оценивающее легкость передачи знаний.
Этот подход позволяет студентам достигать высокой производительности, используя богатое, но эффективное руководство, без необходимости длительных процессов генерации ответов.