研究人员提出了 Q-BridgeNet，这是一个用于多语种手语翻译的统一框架，能够同时缓解手语侧和口语侧的跨语言冲突。

  • 在手语侧，它通过自适应分割和使用共享及特定于语言的码本的残差向量量化来学习离散 Q-units。
  • 在口语侧，利用跨语言先验知识对多语种 LLM 进行微调，使其能够在 Q-unit 空间中运行。
  • 在 PHOENIX14T、How2Sign 和 CSL-Daily 上的实验表明，它在原生对上达到了最先进性能，并对非原生对表现出强大的泛化能力。

该方法通过捕获共享语义同时保留特定于语言的变体，实现了不同手语和口语社区之间的交流。