멀티모달 RLHF 정렬이 한놈에서 베트남어 번역을 개선

연구자들은 열화된 한놈 원고를 현대 베트남어로 번역하기 위한 멀티모달 RLHF 선호 정렬 프레임워크를 제안하며, 희귀한 표의 문자와 제한된 병렬 감독의 과제를 해결합니다. 모델은 CLIP ViT-L/14@336의 시각적 특징과 bert-base-chinese 및 vinai/phobert-base의 텍스트 표현을 통합하고, 생성 전에 융합 블록을 통해 압축합니다.

• DPO는 PPO 및 KTO와 비교하여 BLEU-4, ROUGE-L, BERTScore, 의미적 유사도, CER, WER 및 토큰 정확도에서 가장 높은 성능을 달성했습니다.
• PPO는 테스트된 방법 중 가장 높은 정밀도, 재현율 및 F1 점수를 얻었습니다.
• KTO는 바람직한-바람직하지 않은 유틸리티 목적을 통해 경쟁력을 유지합니다.
• 모든 선호 정렬 정책은 감독 세미튜닝 기반선 대비 BLEU-4 및 의미적 유사도 점수를 개선했습니다.

이 결과들은 멀티모달 선호 최적화가 저자원 역사적 번역에서 어휘 및 의미적 품질을 향상시킴으로써 감독 학습을 보완함을 나타냅니다.