arxiv arXiv cs.CL · hace 1 h · research

PIVOT comparte escaneos de prefijo entre grupos de consultas para acelerar la atención dispersa a nivel de token

Traducido del English → Español

PIVOT (Proxy Indexing Via One full-prefix Traversal) es una solución sin entrenamiento y de inserción directa para el indexador DeepSeek Sparse Attention (DSA) que reduce la redundancia computacional compartiendo un solo escaneo de prefijo entre un grupo de consultas cercanas. En lugar de puntuar cada token precedente para cada consulta individualmente, PIVOT agrega el grupo en una única consulta proxy para obtener un conjunto candidato, del cual se seleccionan los top-k tokens para cada consulta.

Se ofrecen dos variantes: PIVOT-Reuse comparte el top-k proxy para máxima velocidad, mientras que PIVOT-Refine vuelve a puntuar los candidatos con indexadores individuales para igualar la fidelidad del indexador denso.
El algoritmo maneja tanto las fases de prefill como de decode formando grupos de consultas consecutivas o pasos de predicción multi-token respectivamente.

En DeepSeek-V3.2 y GLM-5.1 en LongBench y RULER, PIVOT iguala la precisión del indexador DSA denso mientras lo acelera hasta 4x y reduce la latencia de extremo a extremo hasta 1.6x en contextos largos.

Importancia 2/3 arXiv cs.CL DeepSeek Zhipu AI Inference efficiency Research paper

Artículos relacionados

arxiv arXiv cs.CL · hace 21 d

DSpark introduce la decodificación especulativa con programación por confianza para acelerar la inferencia de LLM

DSpark es un marco de decodificación especulativa diseñado para acelerar la inferencia de Modelos de Lenguaje Grande (LLM) combinando la generación de borradores semi-autoregresiva con una verificación adaptativa y consciente de la carga. Aborda los problemas de decaimiento en la aceptación y degradación del rendimiento encontrados en los generadores de borradores paralelos existentes.

media r/LocalLLaMA · hace 25 d · 3 vistas

GLM-5.2 NVFP4 en cuatro DGX Sparks: resuelto el misterio de MTP, ahora ~24 tok/s con contexto de 128K

Una investigación posterior sobre la ejecución de GLM-5.2 NVFP4 en cuatro nodos DGX Spark resuelve un cuello de botella de rendimiento anterior donde las altas tasas de aceptación eran imposibles con un contexto de 128K.

media r/LocalLLaMA · hace 25 d · 1 vista

Deepseek presenta otro GRAN avance: DSpark. Mucho más rápido que MTP [Video explicativo]

Un usuario de Reddit compartió un enlace a un video sobre un nuevo avance de DeepSeek llamado DSpark, descrito como significativamente más rápido que MTP.

arxiv arXiv cs.CL · hace 31 d · 2 vistas

HyperDFlash: Descodificación especulativa por bloques alineada con MHC y reducción residual con puertas

HyperDFlash es un marco de descodificación especulativa en paralelo por bloques diseñado para abordar problemas de desalineación de características al adaptar DFlash a la arquitectura de hiper-conexión múltiple (MHC) de DeepSeek-V4. Los autores proponen dos optimizaciones clave: utilizar estados residuales previos al colapso para el condicionamiento y reemplazar el compresor lineal genérico por un reductor residual con puertas ligero heredado de la cabeza de hiper-conexión del modelo.

arxiv arXiv cs.CL · hace 3 h

El marco Zing mejora la inteligencia social de los LLM mediante el benchmark SoMBench y la fundamentación Actio

El informe presenta Zing, un marco integrado diseñado para mejorar la inteligencia social de los modelos de lenguaje grandes mediante la medición, internalización y fundamentación de las capacidades sociales. Los autores presentan SoMBench, un benchmark basado en psicología que abarca 17 dimensiones secundarias y 3.481 instancias verificadas por expertos, el cual revela que los LLM actuales tienen un margen significativo de mejora, sin que ningún modelo alcance un rendimiento cercano al máximo.