L'alignement RLHF multimodal améliore la traduction du Han-Nom vers le vietnamien

Les chercheurs proposent un cadre d'alignement de préférence RLHF multimodal pour traduire des manuscrits Han-Nom dégradés en vietnamien moderne, répondant à des défis tels que les caractères logographiques rares et la supervision parallèle limitée. Le modèle intègre les caractéristiques visuelles de CLIP ViT-L/14@336 avec les représentations textuelles de bert-base-chinese et vinai/phobert-base, en les compressant via un bloc de fusion avant la génération.

• DPO obtient les meilleurs scores BLEU-4, ROUGE-L, BERTScore, similarité sémantique, CER, WER et précision des tokens par rapport à PPO et KTO.
• PPO obtient les scores de précision, rappel et F1 les plus élevés parmi les méthodes testées.
• KTO reste compétitif grâce à son objectif d'utilité souhaitable-non souhaitable.
• Toutes les politiques alignées sur les préférences améliorent les scores BLEU-4 et de similarité sémantique par rapport à la base de référence ajustée de manière supervisée.

Ces résultats indiquent que l'optimisation des préférences multimodales complète l'apprentissage supervisé en améliorant la qualité lexicale et sémantique dans la traduction historique à faible ressource.