lab NVIDIA Research · há 15 h · research

Hide to See introduz mascaramento de prefixo de raciocínio para destilação de VLM

Traduzido do English → Português (BR)

Pesquisadores propõem um novo framework de destilação pensar-responder que melhora a capacidade de modelos visuo-linguísticos compactos de utilizar evidência visual ao mascarar prefixos de raciocínio salientes. Esta abordagem aborda o problema do "esquecimento visual" comum em rastros longos de pensar-responder, onde os estudantes perdem o foco nas pistas visuais durante o raciocínio estendido.

O método emprega mascaramento de prefixo de raciocínio saliente por token para bloquear seletivamente pistas textuais de alta influência e uma estratégia de agendamento de orçamento de mascaramento auto-paced que escala com a dificuldade da destilação. Durante o treinamento, essas máscaras substituem as máscaras causais padrão para forçar o modelo estudante a depender mais de informações visuais para a previsão do próximo token.

Os resultados experimentais indicam que esta abordagem supera VLMs open-source recentes, destilação de VLM e métodos de auto-destilação em benchmarks de raciocínio multimodal, com análise confirmando o uso visual aprimorado durante todo o processo de pensamento.

Importância 1/3 Confiança 3/3 NVIDIA Research Multimodal Research paper

Artigos relacionados

lab Microsoft Research Blog · há 4 h · 1 visualização

Microsoft Research apresenta CARE-X, um VLM unificado de raios X torácico com supervisão auxiliar e medição aumentada por ferramentas

A Microsoft Research apresentou o CARE-X, um modelo de pesquisa projetado para preencher lacunas nos atuais modelos de visão e linguagem da radiologia, combinando a geração de relatórios generativos com previsões diagnósticas calibradas. O sistema utiliza aprendizado por reforço (DAPO) para recompensar a correção clínica e emparelha o modelo Qwen3-VL-4B-Instruct com ferramentas de medição determinísticas para avaliar o desempenho em condições que exigem cálculos precisos.

lab NVIDIA Research · há 15 h · 1 visualização

GenRecal destila grandes modelos de visão e linguagem em pequenos por meio de recalibração

Pesquisadores apresentam o GenRecal, um framework de destilação de propósito geral que transfere conhecimento de grandes modelos de visão e linguagem (VLM) para contrapartes menores e mais eficientes. O método aborda o desafio das arquiteturas VLM heterogêneas usando um Recalibrator para alinhar e adaptar representações de características entre diferentes tipos de modelos.

arxiv arXiv cs.CL · há 8 d · 4 visualizações

Douyin lança modelo de incorporação multimodal DME com desempenho de ponta

O Douyin publicou o relatório técnico de seu modelo Multimodal Embedding (DME), que combina pré-treinamento contrastivo em larga escala com raciocínio latente para alcançar forte discriminação e eficiência.

media Hugging Face Forums · há 10 d · 1 visualização

Estudante do ensino médio busca endossador do arXiv para artigo AttnRoute-MoE Vision Transformer

Hanyu (Olivia) Yu, uma estudante do segundo ano do ensino médio, está buscando um endossador do arXiv em cs.LG ou cs.CV para carregar seu preprint independente intitulado "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers."

arxiv arXiv cs.AI · há 15 d · 1 visualização

ClinFusion apresenta MLLM centrado na visão para compreensão médica holística

Pesquisadores apresentam o ClinFusion, um modelo de linguagem multimodal grande centrado na visão, projetado para abordar os desafios da implementação de IA na prática clínica ao unificar a compreensão de imagens médicas 2D e 3D. O sistema possui um codificador visual em cascata composicional com um operador de Fusão de Localidade Espacialmente Consciente em Cascata e inclui um novo framework de avaliação composto por MedIF-Bench e métricas fundamentadas na região de interesse.