Les chercheurs proposent Q-BridgeNet, un cadre unifié pour la traduction de la langue des signes multilingue qui atténue conjointement les conflits interlinguistiques des deux côtés, celui des signes et celui du langage parlé.
- Du côté des signes, il apprend des Q-units discrets via une segmentation adaptative et une quantification vectorielle résiduelle à l'aide de dictionnaires partagés et spécifiques à la langue.
- Du côté parlé, un LLM multilingue est affiné pour fonctionner dans l'espace Q-unit en tirant parti des priors interlinguistiques.
- Les expériences sur PHOENIX14T, How2Sign et CSL-Daily montrent des performances de pointe sur les paires natives et une forte généralisation aux paires non natives.
L'approche permet la communication entre diverses communautés de langue des signes et parlée en captant la sémantique partagée tout en préservant les variations spécifiques à chaque langue.