Lychee-FD meredam interferensi modalitas dalam SLM full-duplex melalui pemisahan parameter hierarkis

Peneliti memperkenalkan Lychee-FD, sebuah kerangka kerja full-duplex end-to-end asli yang dirancang untuk mengatasi interferensi modalitas parah yang menurunkan kinerja Spoken Language Models (SLMs). Penelitian ini mengidentifikasi bahwa interferensi ini berasal dari konflik gradien antara pemodelan akustik dan semantik ketika mereka berbagi ruang parameter dalam.

• Mengusulkan strategi pemisahan parameter hierarkis yang memisahkan modalitas yang bertentangan di lapisan dalam sambil mempertahankan koherensi lintas-modalitas melalui saluran penyelarasan semantik khusus.
• Mencapai peningkatan substansial dalam kecerdasan ucapan, menghasilkan kenaikan +7.4% pada benchmark Spoken QA.
• Meningkatkan fluiditas interaksi full-duplex sebesar +28.5% pada FullDuplexBench 1.5 tanpa mengorbankan efisiensi inferensi.

Pendekatan ini merupakan metode pertama yang menjelaskan akar penyebab interferensi modalitas dan menyediakan solusi praktis untuk SLM full-duplex asli yang cerdas dan berkinerja tinggi.