Para peneliti menyajikan BTHA, sebuah kerangka adapter hierarkis yang dapat ditransfer ke backbone yang dirancang untuk memisahkan panduan bahasa dari encoder visi dan teks spesifik dalam segmentasi gambar medis.
- BTHA menggunakan adapter pelestari bentuk untuk menyuntikkan panduan semantik sambil mempertahankan antarmuka tingkat fitur yang stabil di berbagai backbone.
- Metode ini memperkenalkan Strategi Pengawasan Hierarkis Kasar ke Halus untuk penyelarasan global, lokalisasi multi-skala, dan penyempurnaan batas.
- Adapter Panduan Semantik Gerbang Adaptif Skala (SAGSG) secara adaptif mengontrol injeksi teks dan menekan respons lintas-modal yang redundan.
- Evaluasi menunjukkan bahwa kerangka ini tetap efektif di berbagai encoder visi berbasis konvolusi dan transformer serta berbagai encoder bahasa.
Eksperimen pada empat dataset publik menunjukkan bahwa BTHA meningkatkan baseline berpedoman teks yang kuat dengan overhead komputasi yang moderat.