हाइफान गोंग ने आधिकारिक बेंचमार्क अनुमत सूची में haifan-gong/CTGroundBench डेटासेट जोड़ने के लिए Hugging Face टीम से एक अनुरोध दायर किया है। यह जोड़ा जाने वाला डेटासेट क्लिनिकल CT डेटा पर भाषा मॉडलों के लिए सामुदायिक मूल्यांकन परिणामों को एग्रीगेट करने की सुविधा देगा।
- CT-GroundBench फ्री-टेक्स्ट CT निष्कर्षों के फेनोटाइप संबंधों, एटेन्यूएशन अंतराल और सेगमेंटेशन गणना में ग्रौंडिंग का मूल्यांकन करता है।
- यह लीडरबोर्ड के लिए तीन नेटिव टास्क परिभाषित करता है: task1_accuracy, task2_interval_iou, और task2_region_accuracy।
- डेटासेट inspect-ai मूल्यांकन फ्रेमवर्क का उपयोग करता है और Hub पुश-टाइम वैलिडेशन से गुजरा है।
- इसमें ग्रौंड ट्रुथ, सात मॉडलों से 14 पूर्वानुमान फाइलें, और ऑडिट करने योग्यता के लिए SHA-256 चेकसम शामिल हैं।
लेखक क्लिनिकल फेनोटाइप ग्रौंडिंग मूल्यांकनों के लिए एक आधिकारिक लीडरबोर्ड स्थापित करना चाहता है।