Alinhamento multimodal RLHF melhora a tradução de Han-Nom para vietnamita

Pesquisadores propõem um framework de alinhamento de preferências multimodal RLHF para traduzir manuscritos degradados de Han-Nom para o vietnamita moderno, abordando desafios como caracteres logográficos raros e supervisão paralela limitada. O modelo integra características visuais do CLIP ViT-L/14@336 com representações de texto do bert-base-chinese e vinai/phobert-base, comprimindo-as por meio de um bloco de fusão antes da geração.

• DPO alcança os melhores BLEU-4, ROUGE-L, BERTScore, similaridade semântica, CER, WER e precisão de tokens em comparação com PPO e KTO.
• PPO obtém as maiores pontuações de precisão, recall e F1 entre os métodos testados.
• KTO permanece competitivo através de seu objetivo de utilidade desejável-indesejável.
• Todas as políticas alinhadas por preferência melhoram as pontuações BLEU-4 e similaridade semântica em relação à linha de base supervisionada.

Esses resultados indicam que a otimização de preferências multimodal complementa o aprendizado supervisionado ao melhorar a qualidade léxica e semântica na tradução histórica de baixo recurso.