研究者らは、文書間機械翻訳における文レベルの構造的忠実度を定量化するために設計された補助指標であるSentence Translation Alignment Rate (STAR)を紹介します。これは、省略や幻覚などの問題を解決します。彼らは、仮説を構造的品質でランク付けし、動的整列マスクを使用して未整列セグメントに最適化を集中させるフレームワークであるSTAR-masked Preference Optimization (StarPO)を提案します。

  • STARは明示的に構造的忠実度を測定し、源言語と対象言語の対応関係の違反に対処します。
  • StarPOは、トレーニング中に特定の未整列セグメントを最適化するために動的整列マスクを利用します。
  • ニュースや文学分野での実験は、翻訳品質と完全性の大幅な向上を示しています。
  • StarPOを使用するコンパクトなモデルは、GPT-4oなどの巨大なプロプライエタリシステムを上回るパフォーマンスを発揮し、優れたトークン効率を維持します。

このフレームワークにより、小さなモデルが大きなプロプライエタリシステムを上回りながら、より良いトークン効率を維持することが可能になります。