Kertas opini ini mengusulkan MetaHOPE, sebuah kerangka anotasi yang sadar akan tingkat keparahan kesalahan, yang dirancang untuk mengevaluasi terjemahan metafora dalam terjemahan mesin (MT) dan model bahasa besar (LLM). Para penulis mengatasi kompleksitas semantik dan penanaman budaya yang sering menyebabkan ambiguitas bagi model NLP.
- Studi ini mengevaluasi GoogleMT, GPT5.4, dan Hunyuan-7b sebagai sistem MT dan LLM neural perwakilan.
- Ini memanfaatkan dua korpus metafora yang dianotasi oleh manusia, VUAMC dan PSUCMC, untuk tugas terjemahan Inggris-ke-Cina dan Cina-ke-Inggris.
- Para peneliti menghasilkan sumber daya bilingual baru dengan menerapkan kerangka MetaHOPE ke korpus sumber monolingual dan menghasilkan referensi emas pasca-diedit oleh manusia.
Para penulis percaya bahwa kerangka evaluasi ini, bersama dengan sumber daya korpus paralel yang dibagikan dan analisis kesalahan, dapat memberikan wawasan yang berguna bagi bidang studi terjemahan metafora.