Para penulis memperkenalkan dekomposisi saluran berisik dari decoding Minimum Bayes Risk (MBR) yang menggabungkan efek dua arah untuk mengatasi asimetri dalam metrik evaluasi seperti BLEU dan COMET. Pendekatan ini menguraikan MBR menjadi empat komponen yang saling berinteraksi: likelihood hipotesis-ke-referensi, likelihood referensi-ke-hipotesis, prior hipotesis, dan prior referensi.
- Dekomposisi ini memberikan interpretasi terpadu dari varian MBR yang ada dengan mengisolasi kontribusi setiap saluran.
- Analisis mengungkapkan bahwa kontribusi per saluran menunjukkan karakteristik yang berbeda antar metrik sambil tetap konsisten antar tugas.
- Studi ini menyarankan bahwa pembobotan saluran yang tepat dapat mengarah pada peningkatan dibandingkan decoding MBR asli.
Kerangka kerja ini memungkinkan interpretabilitas spesifik metrik dan tugas, menawarkan jalan menuju generasi teks yang lebih robust dengan memperhitungkan efek arah dalam pemilihan hipotesis.