Les chercheurs introduisent le codage requential, une méthode qui contourne les limites de la compression basée sur les paramètres en encodant la trajectoire d'entraînement via un modèle enseignant sélectionnant des échantillons à partir de la distribution de l'élève. Cette approche ne conserve que les bits où l'enseignant et l'élève sont en désaccord, ce qui donne des longueurs de code indépendantes du nombre de paramètres et de l'entropie des données.
- La méthode produit souvent des codes plusieurs ordres de grandeur plus courts que le codage prequential, avec des avantages croissants à mesure que l'échelle augmente.
- Les modèles plus grands et les ensembles se compressent vers des tailles plus petites malgré un nombre de paramètres plus élevé lorsque la perte est maintenue constante.
- Intégré dans une borne PAC-Bayes, le code requential offre des garanties de généralisation à la pointe pour les LLM à plusieurs milliards de paramètres.
- La technique isole l'information apprenable du contenu aléatoire, révélant que le texte à faible entropie contient plus de structure que les données image à haute entropie.
Cette méthode de compression fournit des bornes de généralisation plus serrées dans le régime optimal en calcul et prédit un surapprentissage progressif lors de l'entraînement multi-époches.