CaresAI a participé à la tâche partagée SMM4H-HeaRD 2026 en prédisant indépendamment les étiquettes de stade TNM (Tumeur, Nœud et Métastase) à partir des comptes rendus anatomopathologiques du Cancer Genome Atlas (TCGA). L'étude a cadré le problème comme trois tâches de classification multi-étiquettes, explorant des approches classiques et d'apprentissage profond utilisant les caractéristiques TF-IDF et les embeddings de ClinicalBERT, BioBERT et PubMedBERT.

  • WRN a obtenu des scores AUROC de 0.839 (T), 0.8502 (N) et 0.803 (M) avec des scores F1 de 0.622, 0.702 et 0.9337 respectivement pendant l'entraînement.
  • LightGBM avec TF-IDF a obtenu les meilleurs résultats lors de la phase d'entraînement avec des scores AUROC de 0.9368 (T), 0.9524 (N) et 0.8311 (M).
  • Les résultats du jeu de test 1 ont montré des scores Macro-F1 de 0.978, 0.957 et 0.879 pour les catégories T, N et M.
  • La performance a diminué sur le jeu de test 2, avec une baisse du score Macro-F1 de 0.938 à 0.858 pour tous les stades.

Les auteurs notent que la baisse de performance suggère des limitations dans la généralisabilité du modèle, une sensibilité au déséquilibre des classes et des défis dans le traitement de documents cliniques longs, indiquant qu'une optimisation supplémentaire est nécessaire avant l'utilisation clinique.