media Hugging Face Forums · hace 4 d · open_models

Un estudiante de pregrado propone cambios arquitectónicos a Qwen 2.5 Omni 3B para detener la interferencia visual

Traducido del English → Español

Un estudiante de pregrado en los foros de Hugging Face discute aplicar conceptos del artículo VAPO al modelo Qwen 2.5 Omni 3B para abordar problemas de alucinación durante la transcripción de audio con contexto de diapositivas.

El artículo VAPO identifica que aplanar y concatenar diferentes tipos de tokens en Modelos de Lenguaje Grande omnimodales causa interferencia visual, llevando a texto alucinado en las transcripciones.
VAPO resuelve esto utilizando un paradigma de aprendizaje por refuerzo con una 'política temporalmente desacoplada' que separa la extracción de la prioridad visual de la transcripción.
El estudiante pregunta si las modificaciones arquitectónicas a Qwen 2.5 Omni 3B, como capturar embeddings antes del bloque thinker o alterar el propio bloque thinker, pueden evitar que los tokens visuales interfieran con los tokens de audio.

La publicación busca orientación técnica para implementar estas estrategias de desacoplamiento dentro de la arquitectura Qwen existente.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Multimodal Research paper

Artículos relacionados

arxiv arXiv cs.CL · hace 27 d · 45 vistas

VisCAD lanza una suite de modelos base con inteligencia multimodal para CAD industrial

Los investigadores presentan VisCAD, una suite de modelos base diseñada para ofrecer una generalización amplia y una capacidad sólida para el diseño realista de productos industriales. La suite aborda los desafíos de la generación a nivel de pieza a partir de diversas entradas como renders y texto, así como la generación a nivel de ensamblaje que involucra piezas interactivas.

arxiv arXiv cs.AI · hace 49 d · 30 vistas

SCOUT mejora el razonamiento espacial en VLM mediante CoT estructurado y RL supervisado por proceso

Los investigadores proponen SCOUT, un marco que mejora el razonamiento espacial de los Modelos Visión-Lenguaje combinando Chain-of-Thought estructurado con aprendizaje por refuerzo de recompensa de proceso multiobjetivo. Este enfoque aborda problemas de asignación de crédito en métodos RL existentes e integra la percepción de profundidad para una comprensión 3D integral.

lab Microsoft Research Blog · hace 50 d · 40 vistas

Microsoft Research presenta CARE-X, un VLM unificado de radiografías de tórax con supervisión auxiliar y medición aumentada por herramientas

Microsoft Research ha presentado CARE-X, un modelo de investigación diseñado para abordar las lagunas en los actuales modelos de visión-lenguaje de radiología al combinar la generación de informes generativos con predicciones diagnósticas calibradas. El sistema utiliza aprendizaje por refuerzo (DAPO) para recompensar la corrección clínica y empareja el modelo Qwen3-VL-4B-Instruct con herramientas de medición deterministas para evaluar el rendimiento en condiciones que requieren cálculos precisos.

lab NVIDIA Research · hace 50 d · 31 vistas

GenRecal destila grandes modelos de visión y lenguaje en pequeños mediante recalibración

Los investigadores presentan GenRecal, un marco de destilación de propósito general que transfiere conocimiento de grandes modelos de visión y lenguaje (VLM) a contrapartes más pequeñas y eficientes. El método aborda el desafío de las arquitecturas VLM heterogéneas mediante un Recalibrador para alinear y adaptar las representaciones de características entre diferentes tipos de modelos.

lab NVIDIA Research · hace 50 d · 34 vistas

Hide to See introduce enmascaramiento de prefijo de razonamiento para destilación VLM

Los investigadores proponen un nuevo marco de destilación pensar-responder que mejora la capacidad de los modelos visuo-lingüísticos compactos para utilizar evidencia visual mediante el enmascaramiento de prefijos de razonamiento salientes. Este enfoque aborda el problema del "olvido visual" común en rastros largos de pensar-responder, donde los estudiantes pierden el foco en las pistas visuales durante el razonamiento extendido.