Pesquisadores propõem o Q-BridgeNet, um framework unificado para tradução de língua de sinais multilíngue que mitiga conjuntamente conflitos interlinguísticos tanto no lado da língua de sinais quanto no do idioma falado.
- No lado da língua de sinais, ele aprende Q-units discretos por meio de segmentação adaptativa e quantização vetorial residual usando codebooks compartilhados e específicos do idioma.
- No lado do idioma falado, um LLM multilíngue é ajustado finamente para operar no espaço de Q-unit aproveitando priors interlinguísticos.
- Experimentos no PHOENIX14T, How2Sign e CSL-Daily mostram desempenho de estado da arte em pares nativos e forte generalização para pares não nativos.
A abordagem permite a comunicação entre diversas comunidades de língua de sinais e idioma falado ao capturar semântica compartilhada enquanto preserva variações específicas do idioma.