Haifan Gong enviou uma solicitação à equipe da Hugging Face para adicionar o conjunto de dados haifan-gong/CTGroundBench à lista permitida oficial de benchmarks. Essa adição permitiria a agregação dos resultados de avaliação da comunidade para modelos de linguagem em dados de tomografia computadorizada (CT) clínica.

  • O CT-GroundBench avalia o grounding de achados de CT em texto livre em relações fenotípicas, intervalos de atenuação e contagens de segmentação.
  • Ele define três tarefas nativas do ranking: task1_accuracy, task2_interval_iou e task2_region_accuracy.
  • O conjunto de dados usa o framework de avaliação inspect-ai e passou pela validação no momento do push para o Hub.
  • Inclui ground truth, 14 arquivos de previsão de sete modelos e checksums SHA-256 para auditabilidade.

O autor busca estabelecer um ranking oficial para avaliações de grounding de fenótipos clínicos.