arxiv arXiv cs.CL · há 3 d · fonte: há 6 d · research

KuaFu comprime o comportamento do usuário em compreensão em escala de bilhões

Traduzido do English → Português (BR)

A Tencent apresenta o KuaFu, uma camada unificada de compressão de comportamento que condensa o histórico bruto do usuário em representações compactas para agentes conversacionais e recomendadores. O sistema usa um projetor de dois eixos para comprimir cada item de comportamento em 2-4 tokens de largura 128-256, abordando gargalos no processamento de sequências longas para um bilhão de usuários.

O KuaFu iguala ou excede modelos de produção de tarefa única não comprimidos em quatro tarefas de perfilamento, ao mesmo tempo que aumenta a taxa de transferência por GPU em 37%-350% e economiza 190 GPUs. Em benchmarks públicos, ele supera compressores anteriores na mesma proporção, com um modelo de 4B superando sua contraparte de 8B no RecBench.

Após funcionar na plataforma de publicidade e recomendação da Tencent por dez meses, o KuaFu elevou o GMV geral em 1.37%.

Importância 2/3 arXiv cs.CL Tencent Inference efficiency Retrieval & RAG

Ler original

Roteamento semântico reduz em 41% os tokens de entrada do Qwen2.5 e a latência em 45% no teste de estresse com contexto de 14K

Um teste de estresse de GPU usando o modelo congelado Qwen2.5-7B-Instruct em 4 bits nas perguntas de ponte do HotpotQA demonstra que o roteamento semântico consciente da tarefa melhora significativamente a eficiência e a precisão sob condições com alto número de distratores. O estudo comparou o contexto completo limitado contra um seletor semântico consciente da consulta, que retém 60% do orçamento, revelando ganhos substanciais em velocidade e precisão.

lab Tencent Hunyuan (HF) · há 17 d · 21 visualizações

Tencent lança checkpoints de Simple Attention Sparsification para Qwen3

A Tencent lançou checkpoints de Simple Attention Sparsification (SAS) que aprendem a classificar e selecionar blocos KV para cada consulta nos modelos Qwen3. Diferente de métodos que destilam pontuações de atenção densa, o SAS adiciona portas contínuas aos blocos selecionados, permitindo a otimização de ponta a ponta do ranking de contexto com a perda de modelagem da linguagem.

media Hugging Face Forums · há 17 d · 16 visualizações

Roteamento consciente de conexões supera BM25 e promoção aleatória no Qwen2.5-7B

Uma avaliação com 600 casos no conjunto de dados MuSiQue, usando os modelos congelados Qwen2.5-7B-Instruct e MiniLM, testa se a seleção de contexto consciente de conexões pode superar o contexto completo e outras linhas de base.

lab Tencent Hunyuan (HF) · há 23 d · 37 visualizações

Tencent lança EVIE-4.5B com Prefix-MRL dinâmico e compressão de tokens sem treinamento

A Tencent lançou o EVIE-4.5B, um modelo de recuperação visual multilíngue de documentos de alto desempenho que apresenta Prefix-Multivector Retrieval Latency (Prefix-MRL) dinâmico e compressão de tokens Hierarchical Agglomerative Clustering (HAC) sem treinamento.

lab Tencent Hunyuan (HF) · há 23 d · 32 visualizações

Tencent lança EVIE-8B, um modelo de recuperação visual de documentos com 4096D

A Tencent lançou o EVIE-8B, um modelo de recuperação visual de documentos de alta capacidade que apresenta representações de tokens em 4096 dimensões e atenção bidirecional completa. O modelo serve como base para a variante leve EVIE-4.5B Prefix-MRL e alcança desempenho de ponta em benchmarks de recuperação visual de documentos.