Haifan Gong은 haifan-gong/CTGroundBench 데이터셋을 공식 벤치마크 허용 목록에 추가하기 위해 Hugging Face 팀에 요청을 제출했습니다. 이 추가는 임상 CT 데이터의 언어 모델에 대한 커뮤니티 평가 결과를 집계할 수 있게 합니다.
- CT-GroundBench는 표현형 관계에서 자유 텍스트 CT 소견의 그라운딩, 감쇠 간격 및 분할 개수를 평가합니다.
- 세 가지 네이티브 리더보드 작업을 정의합니다: task1_accuracy, task2_interval_iou, task2_region_accuracy.
- 이 데이터셋은 inspect-ai 평가 프레임워크를 사용하며 허브 푸시 시간 유효성 검사를 통과했습니다.
- 정답, 7개 모델의 14개 예측 파일, 감사 가능성을 위한 SHA-256 체크섬이 포함되어 있습니다.
저자는 임상 표현형 그라운딩 평가를 위한 공식 리더보드를 확립하기를 바랍니다.