研究者たちは、従来のファインチューニングに伴う高コストや壊滅的な忘却の問題に対処するため、会話型情報検索におけるアドホック検索の効果を高めるための学習不要な戦略としてモデルマージを導入した。本研究は、標準的なアドホックデータセットおよび会話型データセットにおいて、線形および非線形のパラメータごとのマージ戦略、具体的にはModel SoupとSlerpを評価している。

  • このアプローチにより、追加のファインチューニングなしで、単一の検索モデルがアドホック環境と会話型環境の両方で動作可能になる。
  • 実験により、モデルマージが会話型リトリーバーのアドホック検索能力を大幅に向上させることが示された。
  • この手法はタスク固有データセット間での汎化性を高め、ゼロショット条件下でNDCG@3が最大15%向上した。

この技術は、既存のモデルを活用して基盤となるパフォーマンスを維持しつつ会話型コンテキストに適応することで、再学習に対するコスト効果の高い代替手段を提供する。