연구자들은 Spoken Language Models (SLMs)의 성능을 저하시키는 심각한 모달리티 간섭을 해결하기 위해 설계된 네이티브 엔드투엔드 풀듀플렉스 프레임워크인 Lychee-FD를 소개했습니다. 이 연구는 이 간섭이 깊은 파라미터 공간을 공유할 때 음향 모델링과 의미론적 모델링 사이의 그래디언트 충돌에서 비롯됨을 확인했습니다.

  • 깊은 레이어에서 충돌하는 모달리티를 분리하면서도 전용 의미론적 정렬 채널을 통해 크로스모달리티 일관성을 유지하는 계층적 파라미터 분할 전략을 제안합니다.
  • 음성 지능에서 상당한 개선을 달성하여 Spoken QA 벤치마크에서 +7.4%의 향상을 가져옵니다.
  • FullDuplexBench 1.5에서 추론 효율성을 저해하지 않고 풀듀플렉스 상호작용 유동성을 +28.5% 향상시킵니다.

이 접근 방식은 모달리티 간섭의 근본 원인을 규명하는 최초의 방법을 나타내며, 원활하고 고성능인 네이티브 인텔리전트 풀듀플렉스 SLM을 위한 실용적인 해결책을 제공합니다.