arxiv arXiv cs.CL · há 2 h · research

Douyin lança modelo de incorporação multimodal DME com desempenho de ponta

Traduzido do English → Português (BR)

O Douyin publicou o relatório técnico de seu modelo Multimodal Embedding (DME), que combina pré-treinamento contrastivo em larga escala com raciocínio latente para alcançar forte discriminação e eficiência.

Treinado em duas etapas: a Etapa 1 estabelece um espaço de incorporação multimodal unificado por meio de pré-treinamento contrastivo, enquanto a Etapa 2 utiliza Raciocínio Latente Tipado Baseado em Evidências e Reconstrução Cruzada-Condicional para aprimorar a suficiência semântica.
Ambos os mecanismos atuam apenas durante o treinamento, permitindo que o DME seja servido com sobrecarga marginal do lado da consulta comparável à de codificadores contrastivos padrão.
No MMEB-v2, as variantes de 2B e 9B alcançam resultados de ponta com pontuações de 74,8 e 78,4, demonstrando força particular em tarefas de vídeo e documentos visuais.
Em produção, o DME oferece um ganho relativo de 2,92% no conjunto de avaliação offline do Douyin e um ganho de 0,1% no Lifetime (LT) nos testes A/B online para busca.

O modelo é implantado em cenários do Douyin, incluindo generativo, imagem e busca por IA, atendendo à necessidade tanto de eficiência sob indexação em escala de bilhões quanto de discriminação fina.

Importância 2/3 arXiv cs.CL ByteDance Multimodal Research paper

Artigos relacionados

media Hugging Face Forums · há 2 d

Estudante do ensino médio busca endossador do arXiv para artigo AttnRoute-MoE Vision Transformer

Hanyu (Olivia) Yu, uma estudante do segundo ano do ensino médio, está buscando um endossador do arXiv em cs.LG ou cs.CV para carregar seu preprint independente intitulado "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers."

arxiv arXiv cs.AI · há 7 d

ClinFusion apresenta MLLM centrado na visão para compreensão médica holística

Pesquisadores apresentam o ClinFusion, um modelo de linguagem multimodal grande centrado na visão, projetado para abordar os desafios da implementação de IA na prática clínica ao unificar a compreensão de imagens médicas 2D e 3D. O sistema possui um codificador visual em cascata composicional com um operador de Fusão de Localidade Espacialmente Consciente em Cascata e inclui um novo framework de avaliação composto por MedIF-Bench e métricas fundamentadas na região de interesse.

arxiv arXiv cs.CL · há 7 d

ClinFusion: MLLM centrado na visão estabelece novo estado da arte em benchmarks médicos

Pesquisadores apresentam o ClinFusion, um modelo de linguagem grande multimodal centrado na visão, projetado para compreensão médica holística que unifica a análise de imagens 2D e nativas em 3D. O sistema utiliza um codificador visual em cascata composicional com um operador de Fusão de Localidade Espacialmente Consciente em Cascata para enfrentar os desafios da imagem médica heterogênea.

lab NVIDIA Research · há 7 d · 3 visualizações

Análise de IA multimodal da comunicação não verbal em Delta Force

Pesquisadores analisam vídeos de gameplay do jogo competitivo de tiro Delta Force para extrair e compreender a comunicação não verbal emergente, como gestos e padrões de movimento. Este trabalho aborda uma lacuna em estudos anteriores que se concentraram amplamente em jogos MOBA ou coordenação verbal em outros shooters.

arxiv arXiv cs.CL · há 19 d

CSSEL-P2P permite tradução simultânea de fala sem alterações arquiteturais

O artigo apresenta o CSSEL-P2P, uma abordagem orientada a dados para tradução simultânea de fala que evita as mudanças arquiteturais frágeis e as políticas explícitas de leitura/escrita frequentemente exigidas por sistemas LLM apenas de decodificador. O método utiliza blocos de comprimento fixo para decodificação em streaming cumulativo com um prefixo comprometido baseado em rewind, combinado com alvos prefix-to-prefix rotulados pelo professor e espera limitada para ajuste fino.