lab Tencent Hunyuan (HF) · hace 1 d · releases

Tencent lanza checkpoints de Simple Attention Sparsification para Qwen3

Traducido del English → Español

Tencent ha lanzado checkpoints de Simple Attention Sparsification (SAS) que aprenden a clasificar y seleccionar bloques KV para cada consulta en los modelos Qwen3. A diferencia de los métodos que destilan puntuaciones de atención densa, SAS añade puertas continuas a los bloques seleccionados, permitiendo la optimización de extremo a extremo del ranking de contexto con la pérdida de modelado del lenguaje.

El lanzamiento incluye checkpoints gate-router para los modelos Qwen3-4B, Qwen3-8B y Qwen3-14B.
Estos son pesos solo de enrutador que requieren un modelo base Qwen3 público correspondiente y el backend seer_attn en un fork de SGLang.
La configuración predeterminada de sparse-attention utiliza un presupuesto de decodificación de 2,048 tokens, pero los checkpoints pueden evaluarse con presupuestos de 1,024, 2,048 o 4,096 tokens sin reentrenamiento.

Los checkpoints permiten a los usuarios servir una API compatible con OpenAI utilizando el backend seer_attn para inferencia eficiente.

Importancia 1/3 Nuevo entorno de evaluación con diferenciadores Confianza 1/3 Tencent Hunyuan (HF) Tencent Inference efficiency Open weights

Artículos relacionados

media MarkTechPost · hace 47 d · 19 vistas

Tencent lanza AngelSpec, un marco de entrenamiento unificado para MTP y descodificación especulativa en paralelo por bloques

Tencent ha liberado como código abierto AngelSpec, un marco de entrenamiento nativo de torch que soporta tanto la predicción multi-token autoregresiva (MTP) como los drafters de la familia DFlash en bloque-paralelo para modelos Hy3. El sistema trata la heterogeneidad de la carga de trabajo como una restricción de diseño principal, lo que le permite especializar la estructura, los datos de entrenamiento y la profundidad de verificación según casos de uso específicos.

lab Tencent Hunyuan (HF) · hace 54 d · 27 vistas

Tencent abre el código fuente de los modelos de traducción multilingüe Hy-MT2 y IFMTBench

Tencent ha lanzado la familia de modelos de traducción multilingüe "de pensamiento rápido" Hy-MT2, que incluye tamaños de 1.8B, 7B y 30B-A3B (MoE), junto con el benchmark IFMTBench para evaluar las capacidades de seguimiento de instrucciones.

media r/LocalLLaMA · hace 64 d · 9 vistas

llama.cpp añade soporte para Hy3 con descodificación especulativa MTP

Una solicitud de extracción (pull request) enviada al repositorio ggml-org/llama.cpp introduce soporte para el modelo Hy3 de Tencent, específicamente la variante hy_v3. Esta actualización permite utilizar la cabeza de predicción multi-tokeno del modelo como un objetivo especulativo draft-mtp.

arxiv arXiv cs.AI · hace 64 d · 15 vistas

Deutsche Telekom lanza Soofi S 30B-A3B para alemán e inglés

Deutsche Telekom ha lanzado Soofi S 30B-A3B, un modelo base de Mezcla de Expertos (Mixture-of-Experts) soberano y de código abierto, optimizado para alemán e inglés. Construido sobre la German Industrial AI Cloud, el modelo activa solo 3 mil millones de sus 30 mil millones de parámetros por token para mantener una caché de inferencia casi constante a medida que crece el contexto.

arxiv arXiv cs.LG · hace 64 d · 19 vistas

Deutsche Telekom lanza Soofi S 30B-A3B, un modelo MoE de código abierto para alemán e inglés

Deutsche Telekom ha lanzado Soofi S 30B-A3B, un modelo base híbrido Mixture-of-Experts con Mamba Transformer, soberano y de código abierto, diseñado para alemán e inglés. Construido de extremo a extremo en la German Industrial AI Cloud, el modelo activa solo 3 mil millones de sus 30 mil millones de parámetros por token para mantener una caché de inferencia casi constante a medida que crece el contexto.