研究者らは、Spoken Language Models (SLMs) のパフォーマンスを低下させる深刻なモダリティ干渉に対処するために設計されたネイティブエンドツーエンドのフルデュープレックスフレームワークであるLychee-FDを発表した。本研究は、この干渉が深層パラメータ空間を共有する際に、音響モデリングとセマンティックモデリングの間の勾配競合に起因することを特定した。

  • 深いレイヤーで競合するモダリティを分離しつつ、専用のセマンティックアライメントチャネルを通じてクロスモダリティ一貫性を維持する階層パラメータ分離戦略を提案する。
  • スピーチインテリジェンスにおいて大幅な改善を実現し、Spoken QAベンチマークで+7.4%の向上をもたらす。
  • FullDuplexBench 1.5において推論効率を損なうことなくフルデュープレックス対話の流暢さを+28.5%向上させる。

このアプローチは、モダリティ干渉の根本原因を解明する初の手法を表し、シームレスで高性能なネイティブインテリジェントフルデュープレックスSLMの実用的な解決策を提供する。