Haifan Gong telah mengajukan permintaan kepada tim Hugging Face untuk menambahkan dataset haifan-gong/CTGroundBench ke daftar putih resmi Benchmark. Penambahan ini akan memungkinkan agregasi hasil evaluasi komunitas untuk model bahasa pada data CT klinis.
- CT-GroundBench mengevaluasi grounding temuan CT teks bebas dalam hubungan fenotipe, interval atenuasi, dan jumlah segmentasi.
- Ini mendefinisikan tiga tugas leaderboard asli: task1_accuracy, task2_interval_iou, dan task2_region_accuracy.
- Dataset ini menggunakan kerangka evaluasi inspect-ai dan lulus validasi push-time Hub.
- Ini mencakup ground truth, 14 file prediksi dari tujuh model, dan checksum SHA-256 untuk auditabilitas.
Penulis berupaya menetapkan leaderboard resmi untuk evaluasi grounding fenotipe klinis.