あるユーザーは、8つのオープンソースデータセットの混合にわたる継続的事前学習の管理に関するアドバイスを探しており、特に学習率の選択とデータセットのサンプリング比率の間のトレードオフについて対処しています。

  • FineWeb-Edu-scale（1Tトークン以上）のような大規模データセットは、検証損失の改善のために比較的大きな学習率を必要とし、一方、小規模なデータセット（約50Bトークン）は極めて小さな学習率を必要とします。
  • 加重目的関数に対してわずか2〜5%しか貢献しない小規模データセットをアンダーサンプリングすると、十分な曝露不足や大規模データセットによる上書きにより、検証損失が増加します。
  • これらの小規模データセットをオーバーサンプリングすると、大規模データセットのサンプリング率を低下させる必要があり、これにより加重目的関数の全体的な最適化が遅くなる可能性があります。

著者は、これらの相反する要件を処理し、加重検証損失を効率的に最小限に抑えることができるトレーニング戦略やオプティマイザーの変更を探しています。