La Reutilización de Datos Guiada por Memorización permite un entrenamiento eficiente de LLM más allá del límite de cuatro épocas

Los investigadores proponen Memorization-guided Data Reuse, un paradigma de entrenamiento que utiliza señales de memorización del modelo para determinar adaptativamente cuándo y cómo se deben reutilizar los datos de alta calidad durante el entrenamiento de modelos de lenguaje grandes. Este enfoque tiene como objetivo mejorar la eficiencia de las muestras y el rendimiento superando las restricciones tradicionales de un solo pase o épocas fijas.

El método deriva señales de "Ventana de Memorización" a partir de la dinámica de retención de pérdidas y puntuaciones de evaluación downstream para tomar decisiones fundamentadas sobre las épocas de entrenamiento y la programación de la repetición de datos. Los experimentos preliminares indican un régimen impulsado por la memorización donde el rendimiento del modelo sigue mejorando significativamente con la repetición, muy más allá del límite comúnmente citado de cuatro épocas.

Estas ideas proporcionan una base para horarios de entrenamiento conscientes de la memorización, ayudando a determinar los presupuestos de reutilización apropiados y permitiendo un entrenamiento de LLM más eficiente con datos de alta calidad limitados.