Les chercheurs proposent la Réutilisation de Données Guidée par la Mémorisation, un paradigme d'entraînement qui utilise les signaux de mémorisation du modèle pour déterminer de manière adaptative quand et comment les données de haute qualité doivent être réutilisées lors de l'entraînement de grands modèles de langage. Cette approche vise à améliorer l'efficacité des échantillons et les performances en dépassant les contraintes traditionnelles d'un seul passage ou d'époques fixes.
La méthode déduit des signaux de « Fenêtre de Mémorisation » à partir de la dynamique de rétention de la perte et des scores d'évaluation en aval pour prendre des décisions fondées sur les époques d'entraînement et l'ordonnancement de la rejoue des données. Les expériences préliminaires indiquent un régime piloté par la mémorisation où les performances du modèle continuent de s'améliorer avec la répétition, bien au-delà de la limite de quatre époques couramment citée.
Ces insights fournissent une base pour des calendriers d'entraînement conscients de la mémorisation, aidant à déterminer des budgets de réutilisation appropriés et permettant un entraînement LLM plus efficace avec des données de haute qualité limitées.