Исследователи представляют BTHA, иерархический адаптер с переносимым бэкбонном, предназначенный для разделения языкового руководства от конкретных визуальных и текстовых энкодеров в медицинской сегментации изображений.
- BTHA использует адаптеры, сохраняющие форму, для внедрения семантического руководства при сохранении стабильного интерфейса на уровне признаков между различными бэкбонами.
- Метод вводит стратегию иерархического грубого к тонкому надзору для глобальной выравнивания, многомасштабной локализации и уточнения границ.
- Адаптер SAGSG (Scale-Adaptive Gated Semantic Guidance) адаптивно контролирует внедрение текста и подавляет избыточные кросс-модальные ответы.
- Оценка показывает, что структура остается эффективной как для сверточных, так и для трансформерных визуальных энкодеров, а также для различных языковых энкодеров.
Эксперименты на четырех публичных наборах данных демонстрируют, что BTHA улучшает сильные текстово-направленные базовые модели с умеренными вычислительными накладными расходами.