arxiv arXiv cs.CL · agora mesmo · research

ClinFusion: MLLM centrado na visão estabelece novo estado da arte em benchmarks médicos

Traduzido do English → Português (BR)

Pesquisadores apresentam o ClinFusion, um modelo de linguagem grande multimodal centrado na visão, projetado para compreensão médica holística que unifica a análise de imagens 2D e nativas em 3D. O sistema utiliza um codificador visual em cascata composicional com um operador de Fusão de Localidade Espacialmente Consciente em Cascata para enfrentar os desafios da imagem médica heterogênea.

ClinFusion supera modelos open-source líderes como Hulu-Med e Lingshu em 20 dos 24 benchmarks, incluindo perguntas e respostas visuais e geração de relatórios.
Demonstra capacidades multimodais superiores aos modelos proprietários como GPT-5.2 e Gemini-3-Flash em 13 dos 16 benchmarks.
Os autores propõem o MedIF-Bench para avaliação de seguimento de instruções e um método fundamentado na região de interesse para avaliação de relatórios orientada pela factualidade.
Uma avaliação cega por radiologistas certificados pelo conselho confirmou que o ClinFusion produziu os relatórios melhor classificados, validando a correlação da nova métrica fundamentada em RoI com o julgamento de especialistas.

ClinFusion estabelece um novo estado da arte em benchmarks médicos abrangentes e pode ser aumentado com uso de ferramentas agênticas para fluxos de trabalho clínicos com recuperação aumentada.

Importância 2/3 arXiv cs.CL Multimodal Research paper

Artigos relacionados

lab NVIDIA Research · há 8 h

Análise de IA multimodal da comunicação não verbal em Delta Force

Pesquisadores analisam vídeos de gameplay do jogo competitivo de tiro Delta Force para extrair e compreender a comunicação não verbal emergente, como gestos e padrões de movimento. Este trabalho aborda uma lacuna em estudos anteriores que se concentraram amplamente em jogos MOBA ou coordenação verbal em outros shooters.

arxiv arXiv cs.CL · há 12 d

CSSEL-P2P permite tradução simultânea de fala sem alterações arquiteturais

O artigo apresenta o CSSEL-P2P, uma abordagem orientada a dados para tradução simultânea de fala que evita as mudanças arquiteturais frágeis e as políticas explícitas de leitura/escrita frequentemente exigidas por sistemas LLM apenas de decodificador. O método utiliza blocos de comprimento fixo para decodificação em streaming cumulativo com um prefixo comprometido baseado em rewind, combinado com alvos prefix-to-prefix rotulados pelo professor e espera limitada para ajuste fino.

arxiv arXiv cs.CL · há 12 d

Groc-PO introduz otimização de preferência com contexto fundamentado para reduzir alucinações multimodais

Pesquisadores propõem o Grounded Context Preference Optimization (Groc-PO), um framework projetado para abordar problemas de falta de veracidade, como alucinações visuais e fabricação de conteúdo em Modelos de Linguagem Grande Multimodais (MLLMs). O método aborda o desafio de atribuição de crédito onde a Direct Preference Optimization (DPO) padrão falha em suprimir a propagação de erros das etapas iniciais de fundamentação ao aplicar supervisão apenas na resposta final.

arxiv arXiv cs.CL · há 13 d

Fusão interativa de múltiplas características melhora a reconstrução semântica a partir de registros cerebrais não invasivos

Um novo framework aborda a discrepância representacional na reconstrução semântica contínua ao fundir representações léxicas estáticas (W2V) com representações contextualizadas dinâmicas (GPT). O estudo compara duas abordagens de integração: concatenação linear simples e atenção cruzada multi-cabeça não linear.

arxiv arXiv cs.CL · há 13 d

Modelos de embedding áudio-idioma falham ao codificar conceitos sonoros negados

Um estudo revela que modelos de embedding áudio-idioma como o CLAP têm dificuldade com a negação, mapeando legendas afirmativas e negadas para representações quase idênticas. Para expor essa limitação, os autores introduzem o NegEval-Audio, um framework que converte datasets em tarefas Retrieval-Neg e Multiple-Choice Negation.