В этой статье предлагается MetaHOPE, система аннотации ошибок, учитывающая их тяжесть, предназначенная для оценки перевода метафор в машинном переводе (MT) и больших языковых моделях (LLM). Авторы решают проблему семантической сложности и культурных особенностей, которые часто вызывают неоднозначность у моделей NLP.

  • Исследование оценивает GoogleMT, GPT5.4 и Hunyuan-7b как репрезентативные системы нейронного машинного перевода (NMT) и LLM.
  • Используются два корпуса метафор с человеческой аннотацией: VUAMC и PSUCMC для задач перевода с английского на китайский и с китайского на английский.
  • Исследователи создали новые двуязычные ресурсы, применив фреймворк MetaHOPE к монолингвальным корпусам и получив золотые эталоны после ручной пост-редакции.

Авторы считают, что эта система оценки, вместе с общими параллельными корпусами и анализом ошибок, может предоставить полезные идеи для области изучения перевода метафор.