研究者らは、挿入と削除および修正を組み合わせることで、細粒度のインスタンスレベルの編集を実現し、既存の大規模データ処理手法の限界に対処するために設計された関数呼び出しリファインメントフレームワークであるUltraXを提案する。

  • このフレームワークは、データセット適応型プロンプト最適化を利用し、専門家のLLMが高品質なエンドツーエンドのリファインメントテキストを生成するように誘導する。
  • ラインアラインメントマッピングとダイナミックコンテキストリプレースメントは、元のテキストとリファインメントされたテキストのペアを構造化されたプログラムスーパービジョンに変換する。
  • 低信頼度例のフィルタリングと比率制御サンプリングは、トレーニング分布を安定させ、スーパービジョンの品質を向上させる。
  • スライディングウィンドウ予測、グローバル演算集約、体系的なポストプロセッシングは、推論および実行中の安定性を確保する。

実験により、UltraXがすべてのコーパスで最高平均パフォーマンスを達成し、より少ないトレーニングトークンでベースラインと同等またはそれ以上の性能を示すことが示され、より強いデータ効率性とリファインメントの信頼性が示唆されている。