TCLA : Adaptation des logits par classe sans entraînement pour les modèles de vision et de langage médicaux

Les chercheurs présentent TCLA, une méthode d'adaptation few-shot purement sans entraînement conçue pour améliorer les performances des Modèles de Vision et de Langage (VLMs) médicaux sur des données hors distribution. La méthode corrige les logits d'inférence à l'aide d'un petit ensemble d'échantillons de support afin d'améliorer la désambiguïsation inter-classe et de réduire le décalage de domaine sans introduire de composants entraînables.

• TCLA est indépendant du modèle et rapide, adressant les problèmes d'instabilité trouvés dans les méthodes few-shot existantes qui reposent sur des paramètres supplémentaires entraînables.
• Elle améliore les performances sur neuf ensembles de données couvrant plusieurs modalités d'imagerie médicale, y compris la radiographie, l'échographie, l'IRM, le scanner (CT) et l'histopathologie.
• Dans la plupart des cas, TCLA surpasse les méthodes d'adaptation basées sur l'entraînement existantes tout en maintenant une robustesse sur différents types de données médicales.

Cette approche offre une alternative stable pour adapter les VLMs pré-entraînés dans des régimes de données extrêmement faibles où les méthodes few-shot traditionnelles peuvent échouer.