Um usuário busca conselhos sobre como gerenciar o pré-treinamento contínuo através de uma mistura de oito conjuntos de dados de código aberto, abordando especificamente os compromissos entre a seleção da taxa de aprendizado e as proporções de amostragem dos conjuntos de dados.
- Conjuntos de dados grandes como FineWeb-Edu-scale (mais de 1T tokens) requerem taxas de aprendizado relativamente altas para melhorar a perda de validação, enquanto conjuntos menores (cerca de 50B tokens) precisam de taxas extremamente pequenas.
- A subamostragem de conjuntos de dados pequenos que contribuem apenas com 2–5% do objetivo ponderado causa um aumento em sua perda de validação devido à exposição insuficiente e à sobrescrita por parte dos conjuntos maiores.
- A superamostragem desses conjuntos menores exige reduzir a taxa de amostragem dos maiores, o que pode desacelerar a otimização do objetivo ponderado geral.
O autor está procurando estratégias de treinamento ou modificações no otimizador que possam lidar com esses requisitos conflitantes para minimizar eficientemente a perda de validação ponderada.