研究人员提出了一种用于将退化的汉喃手稿翻译成现代越南语的多模态RLHF偏好对齐框架，解决了诸如罕见表意字符和有限并行监督等挑战。该模型通过融合块压缩来自CLIP ViT-L/14@336的视觉特征和来自bert-base-chinese以及vinai/phobert-base的文本表示，然后在生成之前进行整合。

  • 与PPO和KTO相比，DPO在BLEU-4、ROUGE-L、BERTScore、语义相似度、CER、WER和token准确率方面表现最佳。
  • PPO在测试的方法中获得了最高的精确度、召回率和F1分数。
  • KTO通过其期望-不期望效用目标保持竞争力。
  • 所有偏好对齐策略都在监督微调基线之上提高了BLEU-4和语义相似度得分。

这些结果表明，多模态偏好优化通过改善低资源历史翻译中的词汇和语义质量来补充监督学习。