TCLA: Adaptação de Logit por Classe sem Treinamento para Modelos Médico-Visão-Linguagem

Pesquisadores apresentam o TCLA, um método de adaptação few-shot puramente sem treinamento projetado para melhorar o desempenho de Modelos Médico-Visão-Linguagem (VLMs) em dados fora da distribuição. O método corrige os logits de inferência usando um pequeno conjunto de amostras de suporte para aumentar a desconconfusão interclasse e reduzir o deslocamento de domínio sem introduzir componentes treináveis.

• O TCLA é independente do modelo e rápido, abordando problemas de instabilidade encontrados em métodos few-shot existentes que dependem de parâmetros treináveis adicionais.
• Ele melhora o desempenho em nove conjuntos de dados abrangendo múltiplas modalidades de imagem médica, incluindo Raio-X, Ultrassom, RMN, TC e Histopatologia.
• Na maioria dos casos, o TCLA supera os métodos de adaptação baseados em treinamento existentes enquanto mantém a robustez em diferentes tipos de dados médicos.

Esta abordagem oferece uma alternativa estável para adaptar VLMs pré-treinados em regimes de dados extremamente baixos onde métodos few-shot tradicionais podem falhar.