Исследователи предлагают Q-BridgeNet, унифицированную модель для многоязычного перевода жестового языка, которая совместно смягчает межъязыковые конфликты как на стороне жестового, так и на стороне разговорного языка.
- На стороне жестового языка она учит дискретные Q-единицы с помощью адаптивной сегментации и остаточной векторной квантизации, используя общие и специфичные для языка кодовые книги.
- На стороне разговорного языка многоязычная LLM дообучается для работы в пространстве Q-единиц с использованием межъязыковых априорных знаний.
- Эксперименты на наборах данных PHOENIX14T, How2Sign и CSL-Daily показывают состояние искусства (SOTA) для родственных пар и сильную обобщающую способность для неродственных пар.
Подход обеспечивает общение между различными сообществами жестового и разговорного языка, захватывая общую семантику при сохранении языково-специфичных вариаций.