media Hugging Face Forums · há 4 d · open_models

Graduando propõe mudanças arquiteturais no Qwen 2.5 Omni 3B para impedir interferência visual

Traduzido do English → Português (BR)

Um estudante de graduação nos fóruns do Hugging Face discute a aplicação de conceitos do artigo VAPO ao modelo Qwen 2.5 Omni 3B para abordar problemas de alucinação durante a transcrição de áudio com contexto de slides.

O artigo VAPO identifica que achatamento e concatenação de diferentes tipos de tokens em Modelos de Linguagem Grande omnimodais causam interferência visual, levando a texto alucinado nas transcrições.
O VAPO resolve isso usando um paradigma de aprendizado por reforço com uma 'politicamente desacoplada temporalmente' que separa a extração da prioridade visual da transcrição.
O estudante pergunta se modificações arquiteturais no Qwen 2.5 Omni 3B, como capturar embeddings antes do bloco thinker ou alterar o próprio bloco thinker, podem impedir que tokens visuais interfiram com tokens de áudio.

A postagem busca orientação técnica para implementar essas estratégias de desacoplamento dentro da arquitetura Qwen existente.

Importância 1/3 Confiança 1/3 Hugging Face Forums Multimodal Research paper

Ler original

VisCAD lança suíte de modelos fundamentais com inteligência multimodal para CAD industrial

Pesquisadores apresentam o VisCAD, uma suíte de modelos fundamentais projetada para oferecer ampla generalização e forte capacidade para o design realista de produtos industriais. A suíte aborda os desafios da geração em nível de peça a partir de entradas diversas, como renders e texto, bem como a geração em nível de montagem envolvendo peças interagentes.

arxiv arXiv cs.AI · há 49 d · 30 visualizações

SCUT melhora o raciocínio espacial em VLMs por meio de CoT estruturado e RL supervisionado por processo

Pesquisadores propõem o SCOUT, um framework que aprimora o raciocínio espacial de Modelos Visão-Linguagem ao combinar Chain-of-Thought estruturada com aprendizado por reforço de recompensa de processo multiobjetivo. Essa abordagem aborda problemas de atribuição de crédito em métodos de RL existentes e integra percepção de profundidade para compreensão 3D abrangente.

lab Microsoft Research Blog · há 50 d · 40 visualizações

Microsoft Research apresenta CARE-X, um VLM unificado de raios X torácico com supervisão auxiliar e medição aumentada por ferramentas

A Microsoft Research apresentou o CARE-X, um modelo de pesquisa projetado para preencher lacunas nos atuais modelos de visão e linguagem da radiologia, combinando a geração de relatórios generativos com previsões diagnósticas calibradas. O sistema utiliza aprendizado por reforço (DAPO) para recompensar a correção clínica e emparelha o modelo Qwen3-VL-4B-Instruct com ferramentas de medição determinísticas para avaliar o desempenho em condições que exigem cálculos precisos.

lab NVIDIA Research · há 50 d · 31 visualizações

GenRecal destila grandes modelos de visão e linguagem em pequenos por meio de recalibração

Pesquisadores apresentam o GenRecal, um framework de destilação de propósito geral que transfere conhecimento de grandes modelos de visão e linguagem (VLM) para contrapartes menores e mais eficientes. O método aborda o desafio das arquiteturas VLM heterogêneas usando um Recalibrator para alinhar e adaptar representações de características entre diferentes tipos de modelos.

lab NVIDIA Research · há 50 d · 34 visualizações

Hide to See introduz mascaramento de prefixo de raciocínio para destilação de VLM

Pesquisadores propõem um novo framework de destilação pensar-responder que melhora a capacidade de modelos visuo-linguísticos compactos de utilizar evidência visual ao mascarar prefixos de raciocínio salientes. Esta abordagem aborda o problema do "esquecimento visual" comum em rastros longos de pensar-responder, onde os estudantes perdem o foco nas pistas visuais durante o raciocínio estendido.