한 사용자는 여덟 개의 오픈소스 데이터셋 혼합에 걸친 지속 사전 학습을 관리하는 방법에 대한 조언을 구하고 있으며, 특히 학습률 선택과 데이터셋 샘플링 비율 간의 트레이드오프를 다루고 있습니다.

  • FineWeb-Edu-scale(1조 토큰 이상)와 같은 대규모 데이터셋은 검증 손실 개선을 위해 비교적 큰 학습률이 필요하지만, 소규모 데이터셋(약 500억 토큰)은 극도로 작은 학습률이 필요합니다.
  • 가중 목적 함수에 대해 2–5%만 기여하는 소규모 데이터셋을 undersampling하면 노출 부족과 대규모 데이터셋에 의한 덮어쓰기로 인해 검증 손실이 증가합니다.
  • 이러한 소규모 데이터셋을 oversampling하면 대규모 데이터셋의 샘플링률을 낮춰야 하며, 이는 전체 가중 목적 함수의 최적화를 느리게 할 수 있습니다.

저자는 이러한 상충되는 요구사항을 처리하여 가중 검증 손실을 효율적으로 최소화할 수 있는 학습 전략이나 옵티마이저 수정 사항을 찾고 있습니다.