arxiv arXiv cs.CL · hace 2 h · research

Douyin lanza el modelo de incrustación multimodal DME con rendimiento de vanguardia

Traducido del English → Español

Douyin ha publicado el informe técnico de su modelo de Incrustación Multimodal (DME), que combina preentrenamiento contrastivo a gran escala con razonamiento latente para lograr una fuerte discriminación y eficiencia.

Entrenado en dos etapas: la Etapa 1 establece un espacio de incrustación multimodal unificado mediante preentrenamiento contrastivo, mientras que la Etapa 2 utiliza Razonamiento Latente Tipado Basado en Evidencia y Reconstrucción Cruzada-Condicional para mejorar la suficiencia semántica.
Ambos mecanismos actúan únicamente durante el entrenamiento, lo que permite que DME se sirva con una sobrecarga marginal del lado de la consulta comparable a la de los codificadores contrastivos estándar.
En MMEB-v2, las variantes de 2B y 9B alcanzan resultados de vanguardia con puntuaciones de 74.8 y 78.4, mostrando una fuerza particular en tareas de video y documentos visuales.
En producción, DME ofrece una ganancia relativa del 2.92% en el conjunto de evaluación offline de Douyin y una ganancia del 0.1% en Lifetime (LT) en pruebas A/B en línea para búsqueda.

El modelo se despliega en diversos escenarios de Douyin, incluyendo generación, imágenes y búsqueda con IA, abordando la necesidad tanto de eficiencia bajo indexación a escala de mil millones como de discriminación fina.

Importancia 2/3 arXiv cs.CL ByteDance Multimodal Research paper

Artículos relacionados

media Hugging Face Forums · hace 2 d

Estudiante de secundaria busca un endosante de arXiv para el artículo AttnRoute-MoE Vision Transformer

Hanyu (Olivia) Yu, una estudiante de segundo año de secundaria, está buscando un endosante de arXiv en cs.LG o cs.CV para subir su preprint independiente titulado "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers."

arxiv arXiv cs.AI · hace 7 d

ClinFusion presenta un MLLM centrado en la visión para una comprensión médica integral

Los investigadores presentan ClinFusion, un modelo de lenguaje grande multimodal centrado en la visión diseñado para abordar los desafíos de implementar IA en la práctica clínica al unificar la comprensión de imágenes médicas 2D y 3D. El sistema cuenta con un codificador visual en cascada composicional con un operador de fusión de localidad espacialmente consciente en cascada e incluye un nuevo marco de evaluación que comprende MedIF-Bench y métricas basadas en la región de interés.

arxiv arXiv cs.CL · hace 7 d

ClinFusion: un MLLM centrado en la visión establece un nuevo estado del arte en benchmarks médicos

Los investigadores presentan ClinFusion, un modelo de lenguaje grande multimodal centrado en la visión diseñado para una comprensión médica holística que unifica el análisis de imágenes 2D y nativo 3D. El sistema utiliza un codificador visual en cascada composicional con un operador de fusión de localidad espacialmente consciente en cascada para abordar los desafíos de la imagen médica heterogénea.

lab NVIDIA Research · hace 7 d · 3 vistas

Análisis de IA multimodal de la comunicación no verbal en Delta Force

Los investigadores analizan videos del juego competitivo Delta Force para extraer y comprender la comunicación no verbal emergente, como gestos y patrones de movimiento. Este trabajo aborda una laguna en estudios previos que se han centrado principalmente en juegos MOBA o en la coordinación verbal en otros shooters.

arxiv arXiv cs.CL · hace 19 d

CSSEL-P2P permite la traducción simultánea de voz sin cambios arquitectónicos

El artículo presenta CSSEL-P2P, un enfoque basado en datos para la traducción simultánea de voz que evita los frágiles cambios arquitectónicos y las políticas explícitas de lectura/escritura a menudo requeridas por los sistemas LLM solo de decodificador. El método utiliza bloques de longitud fija para la decodificación en streaming acumulativa con un prefijo comprometido basado en rebobinado, combinado con objetivos prefix-to-prefix etiquetados por el maestro y espera acotada para el ajuste fino.