Исследователи предлагают мультимодальную фреймворк предпочтительной настройки RLHF для перевода деградированных рукописей Хан-Ном на современный вьетнамский язык, решая такие проблемы, как редкие логографические символы и ограниченное параллельное обучение. Модель интегрирует визуальные признаки из CLIP ViT-L/14@336 с текстовыми представлениями из bert-base-chinese и vinai/phobert-base, сжимая их через блок слияния перед генерацией.

  • DPO достигает наилучших показателей BLEU-4, ROUGE-L, BERTScore, семантического сходства, CER, WER и точности токенов по сравнению с PPO и KTO.
  • PPO получает наивысшие показатели точности, полноты и F1 среди протестированных методов.
  • KTO остается конкурентоспособным благодаря своей желательной-нежелательной полезной цели.
  • Все предпочтительно настроенные политики улучшают показатели BLEU-4 и семантического сходства по сравнению с базовой линией супервизорного тонкого обучения.

Эти результаты указывают на то, что мультимодальная оптимизация предпочтений дополняет обучение с учителем, улучшая лексическое и семантическое качество в историческом переводе для малоресурсных языков.