Исследователи представили BaFCo, новый набор данных бенчмарка, предназначенный для решения проблемы нехватки высококачественных аннотированных данных для малоресурсных языков, таких как бенгальский, в задачах понимания документов. Набор данных фокусируется на анализе макета документа (DLA) и извлечении ключевой информации (KIE), собирая 200 сложных многостраничных правительственных форм Бангладеш из таких секторов, как сельское хозяйство, образование, банковское дело и управление земельными ресурсами.
- BaFCo включает детализированную схему аннотации с 26 типами сущностей формы и отдельный грубый набор сущностей из 5 типов для учета структурной сложности.
- В исследовании оцениваются новейшие мультимодальные большие языковые модели (MLLM) от ChatGPT, Gemini, Claude, Qwen и серии Kimi с использованием промптов zero-shot и chain-of-thought.
- Результаты подчеркивают ограничения текущих MLLM в способности понимать бенгальские формы, особенно в точной локализации высокодетализированных сущностей формы.
Набор данных и код доступны.