연구자들은 전통적인 파인튜닝의 높은 비용과 파괴적 망각 문제를 해결하기 위해 대화형 정보 검색에서 즉석 검색 효과를 높이는 학습 없는 전략으로 모델 병합을 도입했습니다. 이 연구는 표준 즉석 및 대화형 데이터셋에서 선형 및 비선형 매개변수별 병합 전략, 구체적으로 Model Soup와 Slerp를 평가합니다.
- 이 접근 방식은 추가 파인튜닝 없이 단일 검색 모델이 즉석 및 대화형 환경 모두에서 작동할 수 있게 합니다.
- 실험 결과 모델 병합이 대화형 리트리버의 즉석 검색 능력을 크게 향상시키는 것으로 나타났습니다.
- 이 방법은 작업별 데이터셋 간 일반화성을 개선하여 제로샷 조건에서 NDCG@3가 최대 15% 향상되었습니다.
이 기술은 기존 모델을 활용하여 기본 성능을 유지하면서 대화형 컨텍스트에 적응함으로써 재학습에 대한 비용 효율적인 대안을 제공합니다.