media Hugging Face Forums · hace 2 h · open_models

Jason Van Pham documenta la degeneración greedy multi-turn de Gemma 4 bajo restricciones a nivel de letra

Traducido del English → Español

Jason Van Pham y el coingeniero Grok (xAI) publicaron un informe de diagnóstico que detalla un modo de fallo casi vanilla en el marco Hydrodynamic Swarm al utilizar una ruta instruct personalizada para Gemma 4. El estudio identifica que combinar la decodificación greedy con presupuestos largos de tokens y restricciones a nivel de letra desencadena una degeneración clásica del texto, incluyendo repeticiones y basura ortográfica.

La configuración utilizaba decodificación greedy (temperatura = 0) con un límite de max_tokens de 300 y la dirección física residual desactivada (force_cap = 0).
La salida inicial en inglés fluido colapsó en bucles repetitivos y escombros de guiones mixtos después de que el modelo intentara satisfacer la restricción a nivel de letra.
Una vuelta posterior de meta-diagnóstico produjo un autoinforme plausible antes de volver a entrar en el mismo estado de atractor degenerativo.
Los autores atribuyen el fallo a la combinación de historial multi-turn, decodificación greedy y restricciones duras, en lugar de errores de carga de pesos o interferencia de física residual.

Este informe sirve como un artefacto de diagnóstico público para destacar cómo los resultados imperfectos y los desafíos de ingeniería en cargadores personalizados deben documentarse junto con las demostraciones exitosas.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Inference efficiency Research paper

Artículos relacionados

arxiv arXiv cs.CL · hace 2 d

PIVOT comparte escaneos de prefijo entre grupos de consultas para acelerar la atención dispersa a nivel de token

PIVOT (Proxy Indexing Via One full-prefix Traversal) es una solución sin entrenamiento y de inserción directa para el indexador DeepSeek Sparse Attention (DSA) que reduce la redundancia computacional compartiendo un solo escaneo de prefijo entre un grupo de consultas cercanas. En lugar de puntuar cada token precedente para cada consulta individualmente, PIVOT agrega el grupo en una única consulta proxy para obtener un conjunto candidato, del cual se seleccionan los top-k tokens para cada consulta.

arxiv arXiv cs.CL · hace 13 d

ShortOPD recupera LLMs podados con distilación en línea de corto a largo

Los autores proponen ShortOPD, un programa de distilación en línea de corto a largo diseñado para recuperar las capacidades generativas de los modelos de lenguaje grandes podados estructuralmente que colapsan durante la generación libre. Al detectar sufijos repetitivos confirmados por el maestro y tratar el prefijo sobreviviente como la longitud efectiva de rollout, el método asigna el presupuesto de entrenamiento de manera más eficiente que los enfoques estándar.

arxiv arXiv cs.CL · hace 13 d

El filtrado adaptativo corrige el sesgo de rol estructural en la evicción del caché KV de LLM

El artículo diagnostica cómo los métodos de evicción del caché KV basados en atención, como H2O, retienen desproporcionadamente ruido en entradas densas en esquemas, como JSON anidado, donde los tokens estructurales llevan significativamente más energía que los tokens de contenido. Este sesgo provoca que la precisión de coincidencia exacta colapse del 88% al 0% con un presupuesto del 5% debido a la retención excesiva de tokens KEY en relación con los tokens VALUE.

media r/LocalLLaMA · hace 14 d

Un investigador independiente presenta Wave Field LLM, reemplazando la atención de producto punto por convolución de ondas FFT

Un investigador independiente ha presentado Wave Field LLM, una nueva arquitectura de modelo base de finalización que reemplaza la atención estándar de producto punto O(N²) por convolución de ondas FFT. Este enfoque permite velocidad y uso de memoria constantes durante la inferencia independientemente de la longitud del contexto, habilitando ventanas de contexto de 128K donde la atención estándar normalmente se queda sin memoria.

arxiv arXiv cs.CL · hace 14 d · 2 vistas

JoLT logra una compresión de caché KV casi sin pérdidas mediante descomposición de Tucker conjunta y asignación de residuos JL

Los investigadores presentan JoLT, un método para comprimir la caché de clave-valor (KV) en la inferencia de transformadores tratándola como un tensor de tercer orden. El enfoque aplica una descomposición de Tucker parcial a los ejes de tokens y características, utilizando residuos rotados de bajo bit de Johnson-Lindenstrauss para restaurar la energía perdida durante la truncación.