研究人员推出了Lychee-FD，这是一种原生的端到端全双工框架，旨在解决严重降低口语语言模型（SLMs）性能的模态干扰问题。该工作指出，这种干扰源于声学建模与语义建模在共享深层参数空间时产生的梯度冲突。

  • 提出了一种分层参数分离策略，在解耦深层层中冲突模态的同时，通过专用的语义对齐通道保持跨模态一致性。
  • 在语音智能方面取得了显著改进，在Spoken QA基准测试中获得了+7.4%的提升。
  • 在FullDuplexBench 1.5上，全双工交互流畅度提升了+28.5%，且未牺牲推理效率。

该方法代表了首个阐明模态干扰根本原因的方法，并为无缝、高性能的原生智能全双工SLMs提供了实用解决方案。