CaresAI参与了SMM4H-HeaRD 2026共享任务，独立于癌症基因组图谱（TCGA）病理报告预测肿瘤、淋巴结和转移（TNM）分期标签。该研究将问题框架化为三个多标签分类任务，探索了使用TF-IDF特征以及来自ClinicalBERT、BioBERT和PubMedBERT的嵌入的经典和深度学习方法。

  • WRN在训练期间取得了0.839 (T)、0.8502 (N) 和 0.803 (M) 的AUROC分数，F1分数分别为0.622、0.702和0.9337。
  • 使用TF-IDF的LightGBM在训练阶段表现最佳，AUROC分数为0.9368 (T)、0.9524 (N) 和 0.8311 (M)。
  • 测试集1结果显示，T、N和M类别的Macro-F1分数分别为0.978、0.957和0.879。
  • 在测试集2上性能下降，所有分期的Macro-F1分数从0.938降至0.858。

作者指出，性能下降表明模型泛化能力存在局限性、对类别不平衡敏感以及处理长篇临床文档时面临挑战，这表明在临床应用之前需要进一步优化。