Los investigadores introducen el codificado requencial, un método que evita las limitaciones de la compresión basada en parámetros al codificar la trayectoria de entrenamiento mediante un modelo maestro que selecciona muestras de la distribución del estudiante. Este enfoque registra solo los bits donde el maestro y el estudiante discrepan, lo que resulta en longitudes de código independientes del número de parámetros y de la entropía de los datos.
- El método a menudo produce códigos órdenes de magnitud más cortos que el codificado prequential, con ventajas que crecen a medida que aumenta la escala.
- Los modelos más grandes y los conjuntos se comprimen a tamaños menores a pesar de tener más parámetros cuando se mantiene fija la pérdida.
- Integrado en una cota PAC-Bayes, el código requencial ofrece garantías de generalización de última generación para LLMs de miles de millones de parámetros.
- La técnica aísla la información aprendible del contenido aleatorio, revelando que el texto de baja entropía contiene más estructura que los datos de imagen de alta entropía.
Este método de compresión proporciona cotas de generalización más ajustadas en el régimen óptimo de cómputo y predice un sobreajuste gradual durante el entrenamiento multi-época.