Les chercheurs ont présenté BaFCo, un nouveau jeu de données de benchmark conçu pour répondre à la pénurie de données annotées de haute qualité pour les langues peu dotées comme le bangla dans les tâches de compréhension de documents. Le jeu de données se concentre sur l'Analyse de la Mise en Page des Documents (DLA) et l'Extraction d'Informations Clés (KIE) en curant 200 formulaires gouvernementaux bangladais complexes à plusieurs pages provenant de secteurs tels que l'agriculture, l'éducation, la banque et la gestion foncière.
- BaFCo comprend un schéma d'annotation fin avec 26 types d'entités de formulaire et un ensemble d'entités grossières distinct de 5 types pour capturer la complexité structurelle.
- L'étude évalue les derniers Modèles de Langage Multimodaux (MLLMs) des séries ChatGPT, Gemini, Claude, Qwen et Kimi en utilisant des invites zero-shot et chain-of-thought.
- Les résultats mettent en évidence les limitations des MLLMs actuels à comprendre les formulaires bangla, en particulier pour la localisation précise d'entités de formulaire très granulaires.
Le jeu de données et le code sont.