lab NVIDIA Research · há 15 h · research

GenRecal destila grandes modelos de visão e linguagem em pequenos por meio de recalibração

Traduzido do English → Português (BR)

Pesquisadores apresentam o GenRecal, um framework de destilação de propósito geral que transfere conhecimento de grandes modelos de visão e linguagem (VLM) para contrapartes menores e mais eficientes. O método aborda o desafio das arquiteturas VLM heterogêneas usando um Recalibrator para alinhar e adaptar representações de características entre diferentes tipos de modelos.

GenRecal permite transferência de conhecimento eficaz entre VLMs construídos em diferentes LLMs com tipos de token, tamanhos de vocabulário e ordenações de índice variados.
Experimentos extensos em múltiplos benchmarks desafiadores mostram que o GenRecal melhora significativamente os desempenhos base.
Os modelos pequenos destilados eventualmente superam VLMs grandes de código aberto e fechado.

Este framework permite a implantação de capacidades de visão e linguagem de alto desempenho em dispositivos com recursos limitados, superando as limitações arquiteturais inerentes aos métodos de destilação anteriores.

Importância 1/3 Confiança 3/3 NVIDIA Research Multimodal Research paper

Artigos relacionados

lab Microsoft Research Blog · há 4 h · 1 visualização

Microsoft Research apresenta CARE-X, um VLM unificado de raios X torácico com supervisão auxiliar e medição aumentada por ferramentas

A Microsoft Research apresentou o CARE-X, um modelo de pesquisa projetado para preencher lacunas nos atuais modelos de visão e linguagem da radiologia, combinando a geração de relatórios generativos com previsões diagnósticas calibradas. O sistema utiliza aprendizado por reforço (DAPO) para recompensar a correção clínica e emparelha o modelo Qwen3-VL-4B-Instruct com ferramentas de medição determinísticas para avaliar o desempenho em condições que exigem cálculos precisos.

lab NVIDIA Research · há 15 h

Hide to See introduz mascaramento de prefixo de raciocínio para destilação de VLM

Pesquisadores propõem um novo framework de destilação pensar-responder que melhora a capacidade de modelos visuo-linguísticos compactos de utilizar evidência visual ao mascarar prefixos de raciocínio salientes. Esta abordagem aborda o problema do "esquecimento visual" comum em rastros longos de pensar-responder, onde os estudantes perdem o foco nas pistas visuais durante o raciocínio estendido.

arxiv arXiv cs.CL · há 8 d · 4 visualizações

Douyin lança modelo de incorporação multimodal DME com desempenho de ponta

O Douyin publicou o relatório técnico de seu modelo Multimodal Embedding (DME), que combina pré-treinamento contrastivo em larga escala com raciocínio latente para alcançar forte discriminação e eficiência.

media Hugging Face Forums · há 10 d · 1 visualização

Estudante do ensino médio busca endossador do arXiv para artigo AttnRoute-MoE Vision Transformer

Hanyu (Olivia) Yu, uma estudante do segundo ano do ensino médio, está buscando um endossador do arXiv em cs.LG ou cs.CV para carregar seu preprint independente intitulado "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers."

arxiv arXiv cs.AI · há 15 d · 1 visualização

ClinFusion apresenta MLLM centrado na visão para compreensão médica holística

Pesquisadores apresentam o ClinFusion, um modelo de linguagem multimodal grande centrado na visão, projetado para abordar os desafios da implementação de IA na prática clínica ao unificar a compreensão de imagens médicas 2D e 3D. O sistema possui um codificador visual em cascata composicional com um operador de Fusão de Localidade Espacialmente Consciente em Cascata e inclui um novo framework de avaliação composto por MedIF-Bench e métricas fundamentadas na região de interesse.