Un usuario busca consejos sobre cómo gestionar el preentrenamiento continuo a través de una mezcla de ocho conjuntos de datos de código abierto, abordando específicamente los compromisos entre la selección de la tasa de aprendizaje y las proporciones de muestreo de los conjuntos de datos.
- Los conjuntos de datos grandes como FineWeb-Edu-scale (más de 1T tokens) requieren tasas de aprendizaje relativamente altas para mejorar la pérdida de validación, mientras que los conjuntos más pequeños (alrededor de 50B tokens) necesitan tasas extremadamente pequeñas.
- El submuestreo de conjuntos de datos pequeños que contribuyen solo al 2–5% del objetivo ponderado provoca un aumento en su pérdida de validación debido a la exposición insuficiente y el sobrescritura por parte de los conjuntos más grandes.
- El sobremuestreo de estos conjuntos más pequeños requiere reducir la tasa de muestreo de los más grandes, lo que puede ralentizar la optimización del objetivo ponderado general.
El autor está buscando estrategias de entrenamiento o modificaciones del optimizador que puedan manejar estos requisitos conflictivos para minimizar eficientemente la pérdida de validación ponderada.