CaresAI는 SMM4H-HeaRD 2026 공유 작업에 참여하여 암 게놈 아틀라스(TCGA) 병리 보고서로부터 독립적으로 종양, 림프절 및 전이(TNM) 병기 라벨을 예측했습니다. 이 연구는 문제를 세 가지 다중 레이블 분류 작업으로 프레임화하고, TF-IDF 특징과 ClinicalBERT, BioBERT, PubMedBERT의 임베딩을 사용한 고전적 및 딥러닝 접근 방식을 탐구했습니다.

  • WRN은 훈련 중 AUROC 점수 0.839(T), 0.8502(N), 0.803(M) 및 F1 점수 0.622, 0.702, 0.9337을 달성했습니다.
  • TF-IDF를 사용한 LightGBM은 훈련 단계에서 가장 우수한 성능을 보였으며 AUROC 점수는 0.9368(T), 0.9524(N), 0.8311(M)이었습니다.
  • 테스트 세트 1 결과에서는 T, N, M 카테고리에 대해 Macro-F1 점수가 각각 0.978, 0.957, 0.879로 나타났습니다.
  • 테스트 세트 2에서는 성능이 감소하여 모든 병기에서 Macro-F1 점수가 0.938에서 0.858로 하락했습니다.

저자들은 성능 저하가 모델의 일반화 한계, 클래스 불균형에 대한 민감성, 그리고 긴 임상 문서 처리의 어려움을 시사하며, 임상 사용 전에 추가 최적화가 필요함을 지적합니다.