Повторное использование данных, направляемое запоминанием, позволяет эффективно обучать LLM за пределами четырёх эпох

Исследователи предлагают подход Memorization-guided Data Reuse — парадигму обучения, которая использует сигналы запоминания модели для адаптивного определения того, когда и как следует повторно использовать высококачественные данные при обучении больших языковых моделей. Этот подход направлен на повышение эффективности использования образцов и производительности за счёт преодоления традиционных ограничений однопроходного или фиксированного числа эпох.

Метод формирует сигналы «окна запоминания» (Memorization Window) на основе динамики удержания потерь и оценок на downstream-задачах, чтобы принимать обоснованные решения о количестве эпох обучения и планировании повторного использования данных. Предварительные эксперименты указывают на режим, управляемый запоминанием, в котором производительность модели продолжает значительно улучшаться при повторении существенно за пределами общепринятого предела в четыре эпохи.

Эти выводы создают основу для расписаний обучения, учитывающих запоминание, помогая определять подходящие бюджеты повторного использования и обеспечивая более эффективное обучение LLM при ограниченных объёмах высококачественных данных.