शोधकर्ताओं ने BTHA प्रस्तुत किया, जो एक बैकबोन-स्थानांतरणीय पदानुक्रमित एडाप्टर फ्रेमवर्क है जिसे चिकित्सा छवि विभाजन में विशिष्ट दृश्य और पाठ एन्कोडर्स से भाषा मार्गदर्शन को अलग करने के लिए डिज़ाइन किया गया है।
- BTHA आकार-संरक्षक एडाप्टर्स का उपयोग करता है ताकि विभिन्न बैकबोन के बीच स्थिर फीचर-स्तर इंटरफ़ेस बनाए रखते हुए अर्थपूर्ण मार्गदर्शन को इंजेक्ट किया जा सके।
- इस विधि ने वैश्विक एलाइनमेंट, बहु-स्केल लोकलाइजेशन और सीमा रिफाइनमेंट के लिए एक पदानुक्रमित ग्रूज़-टू-फाइन सुपरविजन रणनीति पेश की है।
- एक स्केल-एडाप्टिव गेटेड सेमैंटिक गाइडेंस (SAGSG) एडाप्टर पाठ इंजेक्शन को अनुकूलित रूप से नियंत्रित करता है और अनावश्यक क्रॉस-मोडल प्रतिक्रियाओं को दबाता है।
- मूल्यांकन दिखाते हैं कि यह फ्रेमवर्क कन्वोल्यूशनल और ट्रान्सफॉर्मर-आधारित दृश्य एन्कोडर्स के साथ-साथ विभिन्न भाषा एन्कोडर्स पर भी प्रभावी रहता है।
चार सार्वजनिक डेटासेटों पर किए गए प्रयोगों से पता चलता है कि BTHA मामूली कंप्यूटेशनल ओवरहेड के साथ मजबूत पाठ-मार्गदर्शित बेलाइन को सुधारता है।