Para peneliti telah memperkenalkan BaFCo, sebuah dataset benchmark baru yang dirancang untuk mengatasi kelangkaan data ber anotasi berkualitas tinggi untuk bahasa dengan sumber daya rendah seperti Bengali dalam tugas pemahaman dokumen. Dataset ini berfokus pada Analisis Tata Letak Dokumen (DLA) dan Ekstraksi Informasi Kunci (KIE) dengan mengumpulkan 200 formulir pemerintah Bangladesh kompleks multi-halaman dari sektor-sektor seperti pertanian, pendidikan, perbankan, dan pengelolaan lahan.
- BaFCo mencakup skema anotasi halus dengan 26 jenis entitas formulir dan satu set entitas kasar terpisah sebanyak 5 jenis untuk menangkap kompleksitas struktural.
- Studi ini mengevaluasi Model Bahasa Besar Multimodal (MLLMs) terbaru dari seri ChatGPT, Gemini, Claude, Qwen, dan Kimi menggunakan prompt zero-shot dan chain-of-thought.
- Hasil menyoroti keterbatasan MLLMs saat ini dalam memahami formulir Bengali, khususnya dalam melokalisasi entitas formulir yang sangat halus secara akurat.
Dataset dan kodenya adalah.