연구자들은 화면과 음성 양쪽에서 교차 언어 간 충돌을 동시에 완화하는 다국어 수화 번역을 위한 통합 프레임워크인 Q-BridgeNet을 제안했습니다.
- 수화 측면에서는 공유 및 언어별 코드북을 사용한 적응형 분할과 잔여 벡터 양자화를 통해 이산 Q-units를 학습합니다.
- 음성 측면에서는 교차 언어 사전 지식을 활용하여 Q-unit 공간에서 작동하도록 다국어 LLM을 파인튜닝합니다.
- PHOENIX14T, How2Sign, CSL-Daily에 대한 실험은 네이티브 쌍에서 최상위 성능을 보이고 비네이티브 쌍에 대해 강력한 일반화를 보여줍니다.
이 접근 방식은 공유된 의미론을 포착하면서 언어별 변형을 보존하여 다양한 수화 및 음성 언어 커뮤니티 간 커뮤니케이션을 가능하게 합니다.