著者たちは、テンプレートベースの対照的合成における解像度ミスマッチ問題に取り組んでいます。この問題では、候補が数個のエントリースロットのみで異なり、シーケンスレベルの最適化によって共有テンプレートに教師信号が分散されます。彼らはKARMAを提案しました。これはドメイン知識グラフ上でスキーマ制約付きパスを列挙し、スロット整列された対照的候補として言語化する手法です。

  • システムはSlot-Parallel Alignment (SPA) を採用し、分離されたスロットレベルの目的関数を適用して、好ましさの教師信号を判別性の高いエントリースロットにルーティングします。
  • スロット対応マスクドアテンションは、オプションのパックド評価実装として含まれています。
  • KARMAは、生物医学、コンピュータサイエンス、化学のベンチマークにおいて、ベースラインLLMおよび同データSFTと比較して優れています。
  • このアプローチは、既存のシーケンスレベルおよびトークンレベルの好ましさ手法と比較して有利な結果を示します。

KARMAは、教師信号が候補を区別する特定のエントリに向くようにすることで、対照的合成の有効性を向上させます。