Los investigadores presentan TCLA, un método de adaptación few-shot puramente sin entrenamiento diseñado para mejorar el rendimiento de los Modelos Médico-Visión-Lenguaje (VLM) en datos fuera de distribución. El método corrige los logit de inferencia utilizando un pequeño conjunto de muestras de soporte para impulsar la desconconfusión interclase y reducir el desplazamiento de dominio sin introducir componentes entrenables.
- TCLA es independiente del modelo y rápido, abordando problemas de inestabilidad encontrados en métodos few-shot existentes que dependen de parámetros entrenables adicionales.
- Mejora el rendimiento en nueve conjuntos de datos que abarcan múltiples modalidades de imagen médica, incluyendo Rayos X, Ultrasonido, RMN, TC e Histopatología.
- En la mayoría de los casos, TCLA supera a los métodos de adaptación basados en entrenamiento existentes mientras mantiene la robustez en diferentes tipos de datos médicos.
Este enfoque ofrece una alternativa estable para adaptar VLM preentrenados en regímenes de datos extremadamente bajos donde los métodos few-shot tradicionales pueden fallar.