Исследователи предлагают объединение моделей как стратегию без дообучения для повышения эффективности поиска ad-hoc в диалоговом информационном поиске, решая проблему высоких затрат и катастрофического забывания, связанных с традиционным дообучением. В исследовании оцениваются стратегии линейного и нелинейного послойного объединения параметров, в частности Model Soup и Slerp, на стандартных наборах данных ad-hoc и диалоговых.

  • Подход позволяет одной модели поиска работать как в условиях ad-hoc, так и в диалоговых сценариях без дополнительного дообучения.
  • Эксперименты показывают, что объединение моделей значительно улучшает возможности поиска ad-hoc у диалоговых поисковых систем.
  • Метод повышает обобщающую способность на специфичных для задачи наборах данных, достигая увеличения NDCG@3 до 15% в условиях zero-shot.

Эта техника предлагает экономически эффективную альтернативу переобучению, используя существующие модели для поддержания базовой производительности при адаптации к диалоговым контекстам.