शोधकर्ताओं ने BaFCo पेश किया है, जो दस्तावेज़ समझ कार्यों में बांग्ला जैसे कम संसाधन वाले भाषाओं के लिए उच्च-गुणवत्ता वाले अंकित डेटा की कमी को दूर करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क डेटासेट है। डेटासेट दस्तावेज़ लेआउट विश्लेषण (DLA) और प्रमुख जानकारी निष्कर्षण (KIE) पर केंद्रित है, जिसमें कृषि, शिक्षा, बैंकिंग और भूमि प्रबंधन जैसे क्षेत्रों से 200 बहु-पृष्ठ जटिल बांग्लादेशी सरकारी फॉर्म शामिल हैं।
- BaFCo में 26 प्रकार के फॉर्म एंटिटीज़ और संरचनात्मक जटिलता को पकड़ने के लिए 5 प्रकार का एक अलग मोटा एंटिटी सेट सहित एक सूक्ष्म-स्तर की अंकन स्कीमा शामिल है।
- अध्ययन में ChatGPT, Gemini, Claude, Qwen और Kimi श्रृंखलाओं से नवीनतम मल्टीमोडल बड़े भाषा मॉडल (MLLM) का zero-shot और chain-of-thought प्रॉम्प्ट्स का उपयोग करके मूल्यांकन किया गया है।
- परिणाम वर्तमान MLLM की बांग्ला फॉर्म को समझने की क्षमता में सीमाओं को उजागर करते हैं, विशेष रूप से अत्यधिक सूक्ष्म फॉर्म एंटिटीज़ को सटीक रूप से स्थानीयकृत करने में।
डेटासेट और कोड उपलब्ध हैं।