Los investigadores proponen Q-BridgeNet, un marco unificado para la traducción de lengua de señas multilingüe que mitiga conjuntamente los conflictos interlingüísticos tanto en el lado de la lengua de señas como en el del lenguaje hablado.
- En el lado de la lengua de señas, aprende Q-units discretos mediante segmentación adaptativa y cuantización vectorial residual utilizando diccionarios compartidos y específicos del idioma.
- En el lado del lenguaje hablado, un LLM multilingüe se ajusta finamente para operar en el espacio de Q-units aprovechando las priors interlingüísticas.
- Los experimentos en PHOENIX14T, How2Sign y CSL-Daily muestran rendimiento de estado del arte en pares nativos y una fuerte generalización a pares no nativos.
El enfoque permite la comunicación entre diversas comunidades de lengua de señas y lenguaje hablado al capturar semántica compartida mientras preserva las variaciones específicas del idioma.