Haifan Gong a soumis une demande à l'équipe de Hugging Face pour ajouter le jeu de données haifan-gong/CTGroundBench à la liste blanche officielle des benchmarks. Cet ajout permettrait d'agréger les résultats d'évaluation de la communauté sur les modèles linguistiques appliqués aux données CT cliniques.
- CT-GroundBench évalue l'ancrage des constatations CT en texte libre dans les relations phénotypiques, les intervalles d'atténuation et les comptes de segmentation.
- Il définit trois tâches natives du leaderboard : task1_accuracy, task2_interval_iou et task2_region_accuracy.
- Le jeu de données utilise le framework d'évaluation inspect-ai et a passé la validation au moment du push sur le Hub.
- Il inclut des vérités terrain, 14 fichiers de prédiction provenant de sept modèles et des checksums SHA-256 pour l'auditabilité.
L'auteur cherche à établir un leaderboard officiel pour les évaluations d'ancrage phénotypique clinique.