lab NVIDIA Research · hace 15 h · research

DSTP mitiga fallos en la poda de tokens visuales en el razonamiento complejo de MLLM

Traducido del English → Español

Los investigadores identificaron el Desplazamiento de Información Visual Relevante (RVIS) durante la decodificación como la causa principal del fallo de los métodos existentes de poda de tokens visuales en Modelos de Lenguaje Grande Multimodales (MLLM). Para abordar esto, proponen la Poda de Tokens Consciente del Desplazamiento en la Etapa de Decodificación (DSTP), un marco sin entrenamiento que alinea los tokens visuales con los requisitos cambiantes del razonamiento.

DSTP es una extensión sin entrenamiento que corrige el RVIS durante la etapa de decodificación.
Reduce significativamente la degradación del rendimiento de los métodos de poda en tareas de razonamiento complejo.
El método produce ganancias de rendimiento consistentes en benchmarks de comprensión visual.
DSTP demuestra generalización y eficiencia con una sobrecarga computacional mínima en diversas arquitecturas de última generación.

Este enfoque permite que las técnicas de poda existentes mantengan la fiabilidad al manejar la gran cantidad de tokens visuales requeridos para el razonamiento visual complejo.

Importancia 1/3 Confianza 3/3 NVIDIA Research Inference efficiency Research paper

Artículos relacionados

media Hugging Face Forums · hace 7 d · 1 vista

Atención lineal causal O(N) con compuerta de decaimiento y núcleo Triton fusionado, de código abierto

Un desarrollador ha liberado como código abierto una arquitectura de Atención Lineal Causal O(N) con compuerta de decaimiento que incluye núcleos de acumulación de estado Triton/CUDA fusionados, diseñados para evitar los cuellos de botella de MHA cuadrático.

media Hugging Face Forums · hace 13 d · 5 vistas

Jason Van Pham documenta la degeneración greedy multi-turn de Gemma 4 bajo restricciones a nivel de letra

Jason Van Pham y el coingeniero Grok (xAI) publicaron un informe de diagnóstico que detalla un modo de fallo casi vanilla en el marco Hydrodynamic Swarm al utilizar una ruta instruct personalizada para Gemma 4. El estudio identifica que combinar la decodificación greedy con presupuestos largos de tokens y restricciones a nivel de letra desencadena una degeneración clásica del texto, incluyendo repeticiones y basura ortográfica.

arxiv arXiv cs.CL · hace 15 d · 2 vistas

PIVOT comparte escaneos de prefijo entre grupos de consultas para acelerar la atención dispersa a nivel de token

PIVOT (Proxy Indexing Via One full-prefix Traversal) es una solución sin entrenamiento y de inserción directa para el indexador DeepSeek Sparse Attention (DSA) que reduce la redundancia computacional compartiendo un solo escaneo de prefijo entre un grupo de consultas cercanas. En lugar de puntuar cada token precedente para cada consulta individualmente, PIVOT agrega el grupo en una única consulta proxy para obtener un conjunto candidato, del cual se seleccionan los top-k tokens para cada consulta.

arxiv arXiv cs.CL · hace 26 d · 3 vistas

ShortOPD recupera LLMs podados con distilación en línea de corto a largo

Los autores proponen ShortOPD, un programa de distilación en línea de corto a largo diseñado para recuperar las capacidades generativas de los modelos de lenguaje grandes podados estructuralmente que colapsan durante la generación libre. Al detectar sufijos repetitivos confirmados por el maestro y tratar el prefijo sobreviviente como la longitud efectiva de rollout, el método asigna el presupuesto de entrenamiento de manera más eficiente que los enfoques estándar.

arxiv arXiv cs.CL · hace 27 d · 1 vista

El filtrado adaptativo corrige el sesgo de rol estructural en la evicción del caché KV de LLM

El artículo diagnostica cómo los métodos de evicción del caché KV basados en atención, como H2O, retienen desproporcionadamente ruido en entradas densas en esquemas, como JSON anidado, donde los tokens estructurales llevan significativamente más energía que los tokens de contenido. Este sesgo provoca que la precisión de coincidencia exacta colapse del 88% al 0% con un presupuesto del 5% debido a la retención excesiva de tokens KEY en relación con los tokens VALUE.