本記事は、標準的なファインチューニングがエンコーダーにフィールドラベルではなく絶対位置への依存を促すため、フィールドの順序が構造化メタデータシステムにおける検索品質に重大な影響を与えることを示している。これに対処するため、著者はランダムにサンプリングされたフィールド順序でレコードを直列化し、ドロップアウトによって意味をラベルに結びつけるPermutation-Invariant Fine-Tuning (PI-FT)という手法を提案する。

  • インデックスのフィールド順序が変更されると、標準的なファインチューニングは7.4 nDCG@10ポイントの低下を引き起こすが、PI-FTはこのペナルティを0.2ポイントに低減する。
  • このアプローチは、トレーニング中に新鮮なフィールド順序をサンプリングし、ランダムなフィールドドロップアウトを適用するデータローダーの変更を使用している。
  • ファインチューニングされた118MパラメータのCPUエンコーダーは、新しいDevDataBenchで0.707 nDCG@10を達成し、text-embedding-3-large (0.556)のようなゼロショットベースラインを上回る。
  • このベンチマークは、約10,000の開発統計指標に対して15言語での接地クエリをカバーしている。

この手法により、スキーマのバリエーションに関係なく検索可能なデータが発見可能であり、未検索指標に対するトレーニングシグナルを提供する使用ログが存在しない場合でも、公的統計へのアクセスを仲介するAIエージェントにとってこれは重要である。