AGIOフレームワークを使用してDolphin 3.0 Llama 3.1 8Bモデルをファインチューニングした実験的ランでは、トレーニング損失が著しく低下し続けるにもかかわらず、GPQA Diamondスコアは初期の上昇後に改善しなくなることが明らかになった。

  • 初期モデルはGPQA Diamondスコア49/198（24.75%）を記録し、チェックポイントCP24およびCP36で60/198にピークした後、残りのラン中は54から56の間で変動した。
  • トレーニングでは、学習率が1.50e-05で始まり、4エポック後に1.15e-05に減少し、その後一定となったスケジュールが使用された。
  • 外部精度が頭打ちになる一方、GAPなどの内部指標は0.7615から1.2999に増加し、モデルが一般的な能力を獲得するのではなく、自身の選択により強くコミットしている可能性を示唆している。
  • 著者は、損失の減少とベンチマークパフォーマンスの間に乖離があるにもかかわらず、推論能力が「オウム返し」行動への劣化なしで維持されたと指摘している。

この実験は、ファインチューニング中に学習率の軌跡を監視することの重要性を浮き彫りにしており、継続的なトレーニングが必ずしも外部評価指標の比例的な改善につながるとは限らないことを示している。