media Hugging Face Forums · hace 1 h · open_models

Atención lineal causal O(N) con compuerta de decaimiento y núcleo Triton fusionado, de código abierto

Traducido del English → Español

Un desarrollador ha liberado como código abierto una arquitectura de Atención Lineal Causal O(N) con compuerta de decaimiento que incluye núcleos de acumulación de estado Triton/CUDA fusionados, diseñados para evitar los cuellos de botella de MHA cuadrático.

Escalado de contexto: secuencia de contexto de 128K ejecutada en 108.78ms con <185MB de VRAM en NVIDIA T4.
Aceleración del núcleo: el núcleo Triton fusionado ofrece una aceleración de 3.60x frente a la implementación estándar de PyTorch.
Protección de precisión: utiliza Acumulador Maestro FP32 + Normalización RMS para evitar desbordamiento de gradientes FP16/BF16 durante el entrenamiento con contexto largo.
Precisión de recuperación: superó el benchmark Needle-In-A-Haystack (NIAH) de 16K con una SNR de 1.89x.

El autor está buscando comentarios sobre la integración del modelo en Hugging Face Transformers o realizando comparaciones de benchmark con modelos lineales existentes.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Inference efficiency Research paper

Leer original

Jason Van Pham documenta la degeneración greedy multi-turn de Gemma 4 bajo restricciones a nivel de letra

Jason Van Pham y el coingeniero Grok (xAI) publicaron un informe de diagnóstico que detalla un modo de fallo casi vanilla en el marco Hydrodynamic Swarm al utilizar una ruta instruct personalizada para Gemma 4. El estudio identifica que combinar la decodificación greedy con presupuestos largos de tokens y restricciones a nivel de letra desencadena una degeneración clásica del texto, incluyendo repeticiones y basura ortográfica.

arxiv arXiv cs.CL · hace 8 d · 2 vistas

PIVOT comparte escaneos de prefijo entre grupos de consultas para acelerar la atención dispersa a nivel de token

PIVOT (Proxy Indexing Via One full-prefix Traversal) es una solución sin entrenamiento y de inserción directa para el indexador DeepSeek Sparse Attention (DSA) que reduce la redundancia computacional compartiendo un solo escaneo de prefijo entre un grupo de consultas cercanas. En lugar de puntuar cada token precedente para cada consulta individualmente, PIVOT agrega el grupo en una única consulta proxy para obtener un conjunto candidato, del cual se seleccionan los top-k tokens para cada consulta.

arxiv arXiv cs.CL · hace 19 d

ShortOPD recupera LLMs podados con distilación en línea de corto a largo

Los autores proponen ShortOPD, un programa de distilación en línea de corto a largo diseñado para recuperar las capacidades generativas de los modelos de lenguaje grandes podados estructuralmente que colapsan durante la generación libre. Al detectar sufijos repetitivos confirmados por el maestro y tratar el prefijo sobreviviente como la longitud efectiva de rollout, el método asigna el presupuesto de entrenamiento de manera más eficiente que los enfoques estándar.

arxiv arXiv cs.CL · hace 19 d

El filtrado adaptativo corrige el sesgo de rol estructural en la evicción del caché KV de LLM

El artículo diagnostica cómo los métodos de evicción del caché KV basados en atención, como H2O, retienen desproporcionadamente ruido en entradas densas en esquemas, como JSON anidado, donde los tokens estructurales llevan significativamente más energía que los tokens de contenido. Este sesgo provoca que la precisión de coincidencia exacta colapse del 88% al 0% con un presupuesto del 5% debido a la retención excesiva de tokens KEY en relación con los tokens VALUE.

media r/LocalLLaMA · hace 20 d

Un investigador independiente presenta Wave Field LLM, reemplazando la atención de producto punto por convolución de ondas FFT

Un investigador independiente ha presentado Wave Field LLM, una nueva arquitectura de modelo base de finalización que reemplaza la atención estándar de producto punto O(N²) por convolución de ondas FFT. Este enfoque permite velocidad y uso de memoria constantes durante la inferencia independientemente de la longitud del contexto, habilitando ventanas de contexto de 128K donde la atención estándar normalmente se queda sin memoria.