研究者らは、Tail-Aware Credit calibratiOn (TACO) を提案した。これは大規模言語モデルのクリティックフリー強化学習における「Positive-Credit Contamination」の失敗モードに対処する方法である。この問題は、均一なクレジット割り当てが確からしいトークンとともに誤った低確率トークンも無差別に強化することで生じる。

  • TACOは局所生成コンテキストに基づいてテールリスクスコアを計算し、予期せぬ希少性と不確実性駆動の探索を区別する。
  • この手法は危険なトークンのポジティブ・クレジットを調整し、偶発的なノイズを段階的に抑制しつつ、再出現する有用な稀なパターンが強化を蓄積できるようにする。
  • 3つのLLMと8つのベンチマークにわたる実験により、TACOがGRPOスタイルのベースラインを一貫して上回ることを示した。
  • このアプローチはトレーニングの安定性を向上させ、長期のRLにおける持続的なパフォーマンス向上を支える。

著者らは、これが誤った推論行動の強化を緩和し、複雑な推論タスクに対してより安定かつ効果的な学習を可能にするため重要だと考えている。