Haifan Gongは、haifan-gong/CTGroundBenchデータセットを公式のベンチマーク許可リストに追加するよう、Hugging Faceチームにリクエストを送信しました。この追加により、臨床CTデータ上の言語モデルに対するコミュニティ評価結果の集約が可能になります。

  • CT-GroundBenchは、表現型関係における自由テキストCT所見のグラウンディング、減衰間隔、およびセグメンテーション数の評価を行います。
  • 3つのネイティブリーダーボードタスクを定義しています：task1_accuracy、task2_interval_iou、およびtask2_region_accuracy。
  • このデータセットはinspect-ai評価フレームワークを使用しており、Hubのプッシュ時検証に合格しました。
  • 正解データ、7つのモデルからの14個の予測ファイル、監査可能性のためのSHA-256チェックサムが含まれています。

著者は、臨床表現型グラウンディング評価のための公式リーダーボードの確立を求めています。