Lychee-FD mitiga interferência de modalidades em SLMs full-duplex nativos via separação hierárquica de parâmetros

Pesquisadores introduzem o Lychee-FD, um framework full-duplex nativo end-to-end projetado para abordar a severa interferência de modalidades que degrada o desempenho dos Spoken Language Models (SLMs). O trabalho identifica que essa interferência decorre de conflitos de gradiente entre a modelagem acústica e semântica quando compartilham um espaço de parâmetros profundo.

• Propõe uma estratégia de separação hierárquica de parâmetros que desacopla modalidades conflitantes em camadas profundas, preservando a coerência entre modalidades por meio de um canal dedicado de alinhamento semântico.
• Alcança melhorias substanciais na inteligência de fala, resultando em um ganho de +7.4% em benchmarks de Spoken QA.
• Melhora a fluidez da interação full-duplex em +28.5% no FullDuplexBench 1.5 sem comprometer a eficiência de inferência.

Esta abordagem representa o primeiro método a elucidar a causa raiz da interferência de modalidades e fornece uma solução prática para SLMs nativos inteligentes, full-duplex, de alto desempenho e sem interrupções.