Los investigadores han presentado BaFCo, un nuevo conjunto de datos de benchmark diseñado para abordar la escasez de datos anotados de alta calidad para idiomas con pocos recursos como el bengalí en tareas de comprensión de documentos. El conjunto de datos se centra en el Análisis de Diseño de Documentos (DLA) y la Extracción de Información Clave (KIE), recopilando 200 formularios gubernamentales complejos de Bangladés de varias páginas de sectores como agricultura, educación, banca y gestión de tierras.
- BaFCo incluye un esquema de anotación fino con 26 tipos de entidades de formulario y un conjunto de entidades gruesas separado de 5 tipos para capturar la complejidad estructural.
- El estudio evalúa los últimos Modelos de Lenguaje Grande Multimodales (MLLM) de las series ChatGPT, Gemini, Claude, Qwen y Kimi utilizando prompts zero-shot y chain-of-thought.
- Los resultados destacan las limitaciones de los MLLM actuales para comprender formularios en bengalí, particularmente en la localización precisa de entidades de formulario altamente granulares.
El conjunto de datos y el código están disponibles.