CaresAI ने Cancer Genome Atlas (TCGA) पथोलॉजी रिपोर्टों से स्वतंत्र रूप से ट्यूमर, नोड और मेटास्टेसिस (TNM) स्टेज लेबल्स की भविष्यवाणी करके SMM4H-HeaRD 2026 साझा कार्य में भाग लिया। अध्ययन ने समस्या को तीन बहु-लेबल वर्गीकरण कार्यों के रूप में परिभाषित किया, जिसमें ClinicalBERT, BioBERT और PubMedBERT से TF-IDF फीचर्स और एम्बेडिंग्स का उपयोग करके क्लासिकल और डीप लर्निंग दृष्टिकोणों की जांच की गई।
- प्रशिक्षण के दौरान WRN ने AUROC स्कोर 0.839 (T), 0.8502 (N) और 0.803 (M) प्राप्त किए, जबकि F1-scores क्रमशः 0.622, 0.702 और 0.9337 थे।
- TF-IDF के साथ LightGBM प्रशिक्षण चरण में सबसे अच्छा प्रदर्शन किया, जिसके AUROC स्कोर 0.9368 (T), 0.9524 (N) और 0.8311 (M) थे।
- टेस्ट सेट 1 के परिणामों ने T, N और M श्रेणियों के लिए Macro-F1 स्कोर क्रमशः 0.978, 0.957 और 0.879 दिखाए।
- टेस्ट सेट 2 पर प्रदर्शन में गिरावट आई, सभी स्टेजों में Macro-F1 स्कोर 0.938 से घटकर 0.858 हो गया।
लेखकों ने नोट किया है कि प्रदर्शन में यह गिरावट मॉडल सामान्यीकरण की सीमाओं, क्लास असंतुलन के प्रति संवेदनशीलता और लंबे क्लिनिकल दस्तावेजों को संसाधित करने में चुनौतियों का संकेत देती है, जो यह दर्शाता है कि क्लिनिकल उपयोग से पहले further optimization की आवश्यकता है।