Пользователь ищет советы по управлению продолжением предобучения на смеси из восьми наборов данных с открытым исходным кодом, конкретно касаясь компромиссов между выбором скорости обучения и соотношением выборки наборов данных.

  • Большие наборы данных, такие как FineWeb-Edu-scale (более 1 трлн токенов), требуют относительно больших скоростей обучения для улучшения валидационной ошибки, тогда как меньшие наборы данных (около 50 млрд токенов) нуждаются в экстремально малых скоростях обучения.
  • Недодборка малых наборов данных, которые составляют лишь 2–5% от взвешенной целевой функции, приводит к увеличению их валидационной ошибки из-за недостаточного воздействия и перезаписи со стороны больших наборов данных.
  • Передборка этих меньших наборов данных требует снижения частоты выборки больших, что может замедлить оптимизацию общей взвешенной целевой функции.

Автор ищет стратегии обучения или модификации оптимизатора, которые могут справиться с этими конфликтующими требованиями для эффективного минимизирования взвешенной валидационной ошибки.