Les chercheurs présentent BTHA, un cadre d'adaptateur hiérarchique transférable sur les backbones conçu pour découpler le guidage linguistique des encodeurs de vision et de texte spécifiques dans la segmentation d'images médicales.
- BTHA utilise des adaptateurs préservant la forme pour injecter un guidage sémantique tout en maintenant une interface au niveau des caractéristiques stable entre différents backbones.
- La méthode introduit une Stratégie de Supervision Hiérarchique de Grossier à Fin pour l'alignement global, la localisation multi-échelle et le raffinement des frontières.
- Un adaptateur de guidage sémantique à portes adaptatif à l'échelle (SAGSG) contrôle de manière adaptative l'injection textuelle et supprime les réponses inter-modales redondantes.
- Les évaluations montrent que le cadre reste efficace sur les encodeurs visuels basés sur des convolutions et des transformeurs, ainsi que sur divers encodeurs linguistiques.
Les expériences sur quatre ensembles de données publics démontrent que BTHA améliore les bases fortes guidées par du texte avec une surcharge computationnelle modeste.