arxiv arXiv cs.CL · hace 3 d · fuente: hace 6 d · research

KuaFu comprime el comportamiento del usuario en comprensión a escala de mil millones

Traducido del English → Español

Tencent presenta KuaFu, una capa unificada de compresión de comportamiento que condensa el historial crudo del usuario en representaciones compactas para agentes conversacionales y sistemas de recomendación. El sistema utiliza un proyector de dos ejes para comprimir cada elemento de comportamiento en 2-4 tokens de ancho 128-256, abordando los cuellos de botella en el procesamiento de secuencias largas para mil millones de usuarios.

KuaFu iguala o supera a los modelos de producción de tarea única no comprimidos en cuatro tareas de perfilado, mientras aumenta el rendimiento por GPU entre un 37% y un 350% y ahorra 190 GPUs. En benchmarks públicos, supera a compresores anteriores con la misma relación, con un modelo de 4B superando a su contraparte de 8B en RecBench.

Después de funcionar en la plataforma de publicidad y recomendación de Tencent durante diez meses, KuaFu elevó el GMV total en un 1.37%.

Importancia 2/3 arXiv cs.CL Tencent Inference efficiency Retrieval & RAG

Leer original

El enrutamiento semántico reduce los tokens de entrada de Qwen2.5 en un 41 % y la latencia en un 45 % en una prueba de estrés con contexto de 14K

Una prueba de estrés de GPU utilizando Qwen2.5-7B-Instruct congelado en 4 bits sobre preguntas de puente de HotpotQA demuestra que el enrutamiento semántico consciente de la tarea mejora significativamente la eficiencia y la precisión bajo condiciones de alto distractor. El estudio comparó un contexto completo acotado frente a un selector semántico consciente de la consulta que retiene el 60 % del presupuesto, revelando ganancias sustanciales en velocidad y precisión.

lab Tencent Hunyuan (HF) · hace 17 d · 21 vistas

Tencent lanza checkpoints de Simple Attention Sparsification para Qwen3

Tencent ha lanzado checkpoints de Simple Attention Sparsification (SAS) que aprenden a clasificar y seleccionar bloques KV para cada consulta en los modelos Qwen3. A diferencia de los métodos que destilan puntuaciones de atención densa, SAS añade puertas continuas a los bloques seleccionados, permitiendo la optimización de extremo a extremo del ranking de contexto con la pérdida de modelado del lenguaje.

media Hugging Face Forums · hace 17 d · 16 vistas

El enrutamiento consciente de puentes supera a BM25 y la promoción aleatoria en Qwen2.5-7B

Una evaluación de 600 casos en el conjunto de datos MuSiQue utilizando los modelos congelados Qwen2.5-7B-Instruct y MiniLM prueba si la selección de contexto consciente de puentes puede superar al contexto completo y otras líneas base.

lab Tencent Hunyuan (HF) · hace 24 d · 37 vistas

Tencent lanza EVIE-4.5B con Prefix-MRL dinámico y compresión de tokens sin entrenamiento

Tencent ha lanzado EVIE-4.5B, un modelo de recuperación visual de documentos multilingüe de alto rendimiento que cuenta con Recuperación de Latencia Multivectorial Dinámica de Prefijo (Prefix-MRL) y compresión de tokens mediante Agrupamiento Aglomerativo Jerárquico (HAC) sin necesidad de entrenamiento.

lab Tencent Hunyuan (HF) · hace 24 d · 32 vistas

Tencent lanza EVIE-8B, un modelo de recuperación visual de documentos con 4096D

Tencent ha lanzado EVIE-8B, un modelo de recuperación visual de documentos de alta capacidad que cuenta con representaciones de tokens de 4096 dimensiones y atención bidireccional completa. El modelo sirve como base para la variante ligera EVIE-4.5B Prefix-MRL y alcanza un rendimiento de vanguardia en benchmarks de recuperación visual de documentos.