github llama.cpp · hace 1 h · inference

llama.cpp b10182 mueve el manejo de suppress_tokens a common/sampling

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10182, que incluye un cambio estructural en cómo se gestiona la supresión de tokens. La modificación principal implica mover la lógica de manejo de `suppress_tokens` al módulo `common/sampling`.

La función `has_logit_bias` ha sido eliminada del código fuente.
El lanzamiento aborda problemas de seguridad relacionados con la implementación anterior.
Se proporcionan binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO, SYCL, HIP) y openEuler.

Esta actualización consolida la lógica de muestreo y resuelve problemas de seguridad específicos dentro del mecanismo de supresión de tokens.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10180 añade ruta rápida contigua y matemáticas de índice de 32 bits para operaciones unarias SYCL

El proyecto llama.cpp ha lanzado la compilación b10180, introduciendo optimizaciones de rendimiento para el backend SYCL. La actualización implementa una ruta rápida contigua y cambia las matemáticas de índice elemento a elemento para usar fastdiv con enteros de 32 bits.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10181 desactiva MMQ en dispositivos con menos de 48 KiB de memoria compartida

El proyecto llama.cpp lanzó la compilación b10181, que incluye una corrección en ggml-cuda para desactivar la Cuantización de Multiplicación Matricial (MMQ) en GPUs con menos de 48 KiB de memoria compartida por bloque. Anteriormente, las configuraciones de MMQ asumían un mínimo de 48 KiB, lo que causaba errores fatales en dispositivos como las GPUs NVIDIA Pascal y Moore Threads MTT S70 donde el tamaño del tile superaba la memoria disponible.

media Hugging Face Forums · hace 4 h

Jason Van Pham documenta la degeneración greedy multi-turn de Gemma 4 bajo restricciones a nivel de letra

Jason Van Pham y el coingeniero Grok (xAI) publicaron un informe de diagnóstico que detalla un modo de fallo casi vanilla en el marco Hydrodynamic Swarm al utilizar una ruta instruct personalizada para Gemma 4. El estudio identifica que combinar la decodificación greedy con presupuestos largos de tokens y restricciones a nivel de letra desencadena una degeneración clásica del texto, incluyendo repeticiones y basura ortográfica.

media Hugging Face Forums · hace 5 h

Hugging Face corrige DynamicCache para evitar salidas incorrectas en generate()

Un error en la función `generate()` de Hugging Face provoca salidas incorrectas cuando `past_key_values` es un `DynamicCache` construido externamente. Este problema afecta a métodos de compresión de caché KV como SnapKV, H2O y KIVI que reconstruyen cachés a partir de datos de prefill. La causa raíz es la falta de propagación del contexto posicional, lo que provoca una pérdida de precisión de 10,7 puntos porcentuales en Qwen3-VL-8B.

github llama.cpp · hace 6 h · 1 vista

llama.cpp b10178 añade registro de seguimiento para la verificación de similitud de ranuras

El proyecto llama.cpp lanzó la compilación b10178, que introduce registro de seguimiento para la verificación de similitud de ranuras dentro del componente del servidor. Esta actualización añade un registro detallado en `server-context.cpp` durante la selección de ranura de caché de prompts, capturando específicamente las razones de omisión y los detalles del cálculo de similitud.