Para peneliti mengusulkan Q-BridgeNet, sebuah kerangka kerja terpadu untuk terjemahan bahasa isyarat multibahasa yang secara bersamaan meredam konflik lintas bahasa di sisi bahasa isyarat maupun bahasa lisan.
- Di sisi bahasa isyarat, ia mempelajari Q-units diskrit melalui segmentasi adaptif dan kuantisasi vektor residual menggunakan codebook bersama dan spesifik-bahasa.
- Di sisi bahasa lisan, LLM multibahasa dilakukan fine-tuning untuk beroperasi di ruang Q-unit dengan memanfaatkan prior lintas bahasa.
- Eksperimen pada PHOENIX14T, How2Sign, dan CSL-Daily menunjukkan kinerja state-of-the-art pada pasangan asli dan generalisasi kuat ke pasangan non-asli.
Pendekatan ini memungkinkan komunikasi antar komunitas bahasa isyarat dan lisan yang beragam dengan menangkap semantik bersama sambil mempertahankan variasi spesifik-bahasa.