Défis de l'équilibre entre le taux d'apprentissage et l'échantillonnage des données pour le pré-entraînement continu multi-dataset

Un utilisateur cherche des conseils pour gérer le pré-entraînement continu sur un mélange de huit ensembles de données open-source, en abordant spécifiquement les compromis entre la sélection du taux d'apprentissage et les ratios d'échantillonnage des ensembles de données.

• Les grands ensembles de données comme FineWeb-Edu-scale (plus de 1T de tokens) nécessitent des taux d'apprentissage relativement élevés pour améliorer la perte de validation, tandis que les petits ensembles de données (environ 50B de tokens) nécessitent des taux d'apprentissage extrêmement faibles.
• Le sous-échantillonnage des petits ensembles de données qui ne contribuent qu'à 2–5 % de l'objectif pondéré entraîne une augmentation de leur perte de validation due à une exposition insuffisante et à un écrasement par les grands ensembles de données.
• Le sur-échantillonnage de ces petits ensembles de données nécessite de réduire le taux d'échantillonnage des plus grands, ce qui peut ralentir l'optimisation de l'objectif pondéré global.

L'auteur cherche des stratégies d'entraînement ou des modifications d'optimiseur capables de gérer ces exigences conflictuelles afin de minimiser efficacement la perte de validation pondérée.