研究人员提出将模型融合作为一种无需训练的策略,以增强对话信息检索中的即席(ad-hoc)搜索效果,解决传统微调带来的高成本和灾难性遗忘问题。该研究评估了线性与非线性的逐参数融合策略,具体包括 Model Soup 和 Slerp,在标准的 ad-hoc 和对话数据集上进行了测试。

  • 该方法使得单个检索模型能够在无需额外微调的情况下,同时适用于 ad-hoc 和对话场景。
  • 实验表明,模型融合显著增强了对话检索器的即席搜索能力。
  • 该方法提高了跨任务特定数据集的泛化能力,在 zero-shot 条件下 NDCG@3 提升了高达 15%。

该技术通过利用现有模型来保持基础性能并适应对话上下文,为重新训练提供了一种具有成本效益的替代方案。