Исследователи представляют Lychee-FD, нативную сквозную полнодуплексную архитектуру, предназначенную для устранения серьёзной межмодальной интерференции, снижающей эффективность Спoken Language Models (SLM). Работа показывает, что эта интерференция возникает из-за конфликтов градиентов между акустическим и семантическим моделированием при их совместном использовании глубокого пространства параметров.

  • Предлагается стратегия иерархического разделения параметров, которая разделяет конфликтующие модальности в глубоких слоях, сохраняя при этом согласованность между модальностями через выделенный канал семантического выравнивания.
  • Достигаются значительные улучшения в понимании речи, что даёт прирост +7.4% на бенчмарках Spoken QA.
  • Улучшается плавность полнодуплексного взаимодействия на +28.5% по FullDuplexBench 1.5 без ущерба для эффективности вывода.

Этот подход представляет собой первый метод, разъясняющий корневую причину межмодальной интерференции, и предлагает практическое решение для бесшовных высокопроизводительных нативных интеллектуальных полнодуплексных SLM.