Para peneliti memperkenalkan penggabungan model sebagai strategi tanpa pelatihan untuk meningkatkan efektivitas pencarian ad-hoc dalam retrieval informasi konversasional, mengatasi biaya tinggi dan lupa katastrofik yang terkait dengan fine-tuning tradisional. Studi ini mengevaluasi strategi penggabungan parameter per baris linear dan non-linear, khususnya Model Soup dan Slerp, pada dataset ad-hoc dan konversasional standar.
- Pendekatan ini memungkinkan satu model retrieval beroperasi di kedua lingkungan ad-hoc dan konversasional tanpa fine-tuning tambahan.
- Eksperimen menunjukkan bahwa penggabungan model secara signifikan meningkatkan kemampuan pencarian ad-hoc dari retriever konversasional.
- Metode ini meningkatkan generalisasi antar dataset spesifik tugas, mencapai peningkatan NDCG@3 hingga 15% dalam kondisi zero-shot.
Teknik ini menawarkan alternatif yang hemat biaya terhadap pelatihan ulang dengan memanfaatkan model yang ada untuk mempertahankan kinerja dasar sambil beradaptasi dengan konteks konversasional.