Los investigadores presentan BTHA, un marco de adaptador jerárquico con backbone transferible diseñado para desacoplar la guía lingüística de codificadores visuales y de texto específicos en la segmentación de imágenes médicas.
- BTHA utiliza adaptadores que preservan la forma para inyectar guía semántica manteniendo una interfaz estable a nivel de características entre diferentes backbones.
- El método introduce una Estrategia de Supervisión Jerárquica de Grueso a Fino para alineación global, localización multiescala y refinamiento de bordes.
- Un adaptador SAGSG (Guía Semántica con Puerta Adaptativa a la Escala) controla adaptativamente la inyección textual y suprime respuestas cruzadas redundantes entre modalidades.
- Las evaluaciones muestran que el marco sigue siendo efectivo tanto para codificadores visuales basados en convoluciones y transformadores, como para varios codificadores de lenguaje.
Los experimentos en cuatro conjuntos de datos públicos demuestran que BTHA mejora las líneas base fuertemente guiadas por texto con una sobrecarga computacional moderada.