MMed-Bench-IR представляет гетерогенный бенчмарк для мультималярного медицинского поиска информации на шести языках. Он оценивает межязыковую синхронизацию, дифференциацию концепций и извлечение доказательств через три различных задания без пересекающихся концепций или запросов. Оценка показывает значительное падение межязыковой производительности, при переходе на японский язык английские биомедицинские энкодеры снижаются с 0.818 до 0.056 nDCG@10, что подчеркивает ограничения, не обнаруженные в бенчмарках, основанных только на английском языке.
MMed-Bench-IR: Мультималярный медицинский бенчмарк по поиску
Переведено с English → Русский