研究者らは、医療画像セグメンテーションにおける特定のビジョンおよびテキストエンコーダから言語ガイダンスを分離するために設計されたバックボーン転送可能な階層アダプターフレームワークであるBTHAを発表した。

  • BTHAは形状保持アダプターを使用し、異なるバックボーン間で安定した特徴レベルのインターフェースを維持しながらセマンティックガイダンスを注入する。
  • この手法は、グローバルアライメント、マルチスケールローカライゼーション、および境界微調整のために階層型粗いから細かいまでの監督戦略を導入する。
  • スケール適応ゲート付きセマンティックガイダンス（SAGSG）アダプターは、テキスト注入を適応的に制御し、冗長なクロスモーダル応答を抑制する。
  • 評価により、このフレームワークが畳み込みおよびトランスフォーマーベースのビジョンエンコーダ、ならびにさまざまな言語エンコーダ全体で効果的であることが示された。

4つの公開データセットでの実験は、BTHAが modest な計算オーバーヘッドで強力なテキスト誘導ベースラインを改善することを示している。