Хайфан Гун подал запрос команде Hugging Face на добавление датасета haifan-gong/CTGroundBench в официальный разрешающий список бенчмарков. Это дополнение позволит агрегировать результаты оценки сообществом языковых моделей на клинических КТ-данных.
- CT-GroundBench оценивает привязку свободных текстовых заключений КТ к фенотипическим отношениям, интервалам затухания и количеству сегментов.
- Он определяет три собственные задачи для лидерборда: task1_accuracy, task2_interval_iou и task2_region_accuracy.
- Датасет использует фреймворк оценки inspect-ai и прошёл валидацию при отправке на Hub.
- Он включает эталонные ответы, 14 файлов предсказаний от семи моделей и контрольные суммы SHA-256 для проверяемости.
Автор стремится создать официальный лидерборд для оценок привязки клинических фенотипов.