TCLA: 의료 비전-언어 모델을 위한 학습 없는 클래스별 로짓 적응

연구자들은 분포 밖 데이터에서 의료 비전-언어 모델(VLMs)의 성능을 향상시키기 위해 설계된 순수하게 학습 없는 퓨샷 적응 방법인 TCLA를 제시했습니다. 이 방법은 작은 지원 샘플 세트를 사용하여 추론 로짓을 보정하고, 클래스 간 혼동을 줄이며 도메인 시프트를 감소시키면서 학습 가능한 구성 요소를 도입하지 않습니다.

• TCLA는 모델에 독립적이고 빠르며, 추가 학습 가능 파라미터에 의존하는 기존 퓨샷 방법에서 발견된 불안정성 문제를 해결합니다.
• X선, 초음파, MRI, CT, 조직병리 등 여러 의료 영상 모달리티에 걸쳐 9개의 데이터셋 전반에서 성능을 향상시킵니다.
• 대부분의 경우 TCLA는 다양한 의료 데이터 유형에 대한 견고성을 유지하면서 기존 학습 기반 적응 방법보다 우수합니다.

이 접근 방식은 전통적인 퓨샷 방법이 실패할 수 있는 극도로 낮은 데이터 환경에서 사전 학습된 VLMs를 적응시키기 위한 안정적인 대안을 제공합니다.