Haifan Gong ha presentado una solicitud al equipo de Hugging Face para agregar el conjunto de datos haifan-gong/CTGroundBench a la lista permitida oficial de benchmarks. Esta adición permitiría la agregación de los resultados de evaluación de la comunidad para modelos de lenguaje en datos de tomografía computarizada (CT) clínica.
- CT-GroundBench evalúa el anclaje de hallazgos de CT en texto libre a relaciones fenotípicas, intervalos de atenuación y conteos de segmentación.
- Define tres tareas nativas del ranking: task1_accuracy, task2_interval_iou y task2_region_accuracy.
- El conjunto de datos utiliza el framework de evaluación inspect-ai y pasó la validación en el momento del empuje al Hub.
- Incluye ground truth, 14 archivos de predicción de siete modelos y sumas de comprobación SHA-256 para auditoría.
El autor busca establecer un ranking oficial para evaluaciones de anclaje de fenotipos clínicos.