연구자들은 의료 영상 분할에서 특정 비전 및 텍스트 인코더로부터 언어 가이드를 분리하도록 설계된 백본 이전 가능한 계층적 어댑터 프레임워크인 BTHA를 제시했습니다.
- BTHA는 형태 보존 어댑터를 사용하여 서로 다른 백본 간에 안정적인 특징 수준 인터페이스를 유지하면서 시맨틱 가이드를 주입합니다.
- 이 방법은 전역 정렬, 다중 스케일 국소화 및 경계 보정을 위해 계층적 coarse-to-fine 감독 전략을 도입합니다.
- 스케일 적응 게이트형 시맨틱 가이드(SAGSG) 어댑터는 텍스트 주입을 적응적으로 제어하고 중복된 크로스모달 응답을 억제합니다.
- 평가 결과, 이 프레임워크가 합성곱 및 트랜스포머 기반 비전 인코더와 다양한 언어 인코더 전반에 걸쳐 효과적임이 나타났습니다.
네 가지 공개 데이터셋에 대한 실험은 BTHA가 modest한 계산 오버헤드로 강력한 텍스트 유도 기준선을 개선함을 보여줍니다.