Para peneliti mengusulkan kerangka kerja penyesuaian preferensi RLHF multimodal untuk menerjemahkan naskah Han-Nom yang rusak ke dalam bahasa Vietnam modern, mengatasi tantangan seperti karakter logograf langka dan supervisi paralel yang terbatas. Model ini mengintegrasikan fitur visual dari CLIP ViT-L/14@336 dengan representasi teks dari bert-base-chinese dan vinai/phobert-base, kemudian memadatkannya melalui blok fusi sebelum generasi.

  • DPO mencapai BLEU-4, ROUGE-L, BERTScore, kesamaan semantik, CER, WER, dan akurasi token terbaik dibandingkan dengan PPO dan KTO.
  • PPO memperoleh presisi, recall, dan skor F1 tertinggi di antara metode yang diuji.
  • KTO tetap kompetitif melalui tujuan utilitas yang diinginkan-tidak diinginkan.
  • Semua kebijakan yang disesuaikan preferensinya meningkatkan skor BLEU-4 dan kesamaan semantik dibandingkan dengan baseline fine-tuning berbasis supervisi.

Hasil-hasil ini menunjukkan bahwa optimasi preferensi multimodal melengkapi pembelajaran berbasis supervisi dengan meningkatkan kualitas leksikal dan semantik dalam terjemahan bersejarah sumber daya rendah.