Исследователи представляют Sentence Translation Alignment Rate (STAR), вспомогательную метрику, предназначенную для количественной оценки структурной точности на уровне предложений в машинном переводе документ-в-документ, решая такие проблемы, как пропуски и галлюцинации. Они предлагают STAR-masked Preference Optimization (StarPO), фреймворк, который ранжирует гипотезы по структурному качеству и использует динамическую маску выравнивания для фокусировки оптимизации на несовпадающих сегментах.

  • STAR явно измеряет структурную точность для устранения нарушений соответствия между источником и целевым текстом.
  • StarPO использует динамическую маску выравнивания для оптимизации конкретных несовпадающих сегментов во время обучения.
  • Эксперименты в областях новостей и литературы показывают значительное улучшение качества и целостности перевода.
  • Компактные модели, использующие StarPO, превосходят по производительности огромные проприетарные системы, такие как GPT-4o, демонстрируя превосходную эффективность токенов.

Фреймворк позволяет меньшим моделям превосходить большие проприетарные системы, сохраняя при этом лучшую эффективность токенов.