Pesquisadores introduziram o BaFCo, um novo conjunto de dados de benchmark projetado para abordar a escassez de dados anotados de alta qualidade para idiomas com poucos recursos como o bengali em tarefas de compreensão de documentos. O conjunto de dados foca na Análise de Layout de Documentos (DLA) e Extração de Informação Chave (KIE), curando 200 formulários governamentais complexos de múltiplas páginas de Bangladesh de setores como agricultura, educação, bancos e gestão de terras.
- BaFCo inclui um esquema de anotação fino com 26 tipos de entidades de formulário e um conjunto de entidades grosseiras separado de 5 tipos para capturar a complexidade estrutural.
- O estudo avalia os mais recentes Modelos de Linguagem Grande Multimodais (MLLM) das séries ChatGPT, Gemini, Claude, Qwen e Kimi usando prompts zero-shot e chain-of-thought.
- Os resultados destacam limitações na capacidade dos MLLM atuais de compreender formulários em bengali, particularmente na localização precisa de entidades de formulário altamente granulares.
O conjunto de dados e o código estão disponíveis.