Tantangan dalam menyeimbangkan learning rate dan sampling data untuk continued pretraining multi-dataset

Seorang pengguna mencari saran tentang mengelola continued pretraining di atas campuran delapan dataset open-source, khususnya mengatasi trade-off antara pemilihan learning rate dan rasio sampling dataset.

• Dataset besar seperti FineWeb-Edu-scale (lebih dari 1T token) memerlukan learning rate yang relatif besar untuk perbaikan validation loss, sementara dataset kecil (sekitar 50B token) memerlukan learning rate yang sangat kecil.
• Undersampling dataset kecil yang hanya berkontribusi 2–5% terhadap objective tertimbang menyebabkan validation loss mereka meningkat karena eksposur yang tidak cukup dan penimpaan oleh dataset yang lebih besar.
• Oversampling dataset kecil ini necessitates mengurangi sampling rate dari dataset yang lebih besar, yang dapat memperlambat optimisasi overall weighted objective.

Penulis mencari strategi pelatihan atau modifikasi optimizer yang dapat menangani persyaratan yang saling bertentangan ini untuk meminimalkan validation loss tertimbang secara efisien.