github llama.cpp · hace 1 h · inference

llama.cpp b11440 re-reserva el programador cuando cambian las banderas de extracción NextN

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11440, que incluye una corrección para la inicialización especulativa de MTP. La actualización asegura que el programador sea re-reservado cuando cambian las banderas de extracción NextN, previniendo problemas con la extracción no enmascarada.

La inicialización especulativa de MTP ahora habilita la extracción NextN en los contextos de destino y borrador después de la creación.
El grafo trunk mantiene cada token hasta la última capa en lugar de recortar a las filas de salida.
Invalidar la reserva cuando cambian las banderas permite que el siguiente cálculo re-reserve con la nueva forma del grafo.
Los binarios están disponibles para macOS, Linux, Windows, Android e iOS a través de backends CPU, GPU y NPU.

Este cambio previene errores GGML_SCHED_DEBUG_REALLOC asegurando la asignación correcta de la forma del lote durante la decodificación.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b11413 añade atención flash dispersa de Vulkan para K/V cuantizados

La versión b11413 de llama.cpp introduce una nueva implementación de atención flash dispersa en Vulkan que soporta tensores de Clave y Valor cuantizados. Esta actualización aborda problemas de rendimiento en el método anterior de compactación, que era demasiado costoso para tareas de decodificación con ventanas de contexto grandes.

github llama.cpp · hace 1 d · 20 vistas

webgpu añade soporte para MMVQ de Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4

El componente webgpu ha añadido soporte para formatos MMVQ (Multi-Mode Vector Quantization), específicamente Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K y MXFP4.

media Hugging Face Forums · hace 2 d · 26 vistas

Eqx-zoo proporciona puertos verificados de modelos Equinox de Hugging Face

El autor ha creado eqx-zoo, una biblioteca que carga checkpoints de Hugging Face Hub directamente como módulos plain de Equinox y verifica cada modelo contra la biblioteca transformers. El proyecto actualmente soporta Llama, Qwen2, Qwen3, Qwen3-MoE para generación, y BERT, RoBERTa, XLM-RoBERTa para embeddings.

media Hugging Face Forums · hace 5 d · 27 vistas

AiiStream Q3.6 permite ejecutar Qwen3.6-35B-A3B en Macs con 8-16 GB de RAM

El autor ha lanzado AiiStream Q3.6, una técnica de código abierto que permite que el modelo Qwen3.6-35B-A3B se ejecute en dispositivos Apple Silicon con solo 8 a 16 GB de RAM. Al mantener los expertos enrutados en SSD y utilizar predicciones de carga anticipada, el método reduce el uso de memoria de MLX a aproximadamente 1,7 GB mientras mantiene salidas idénticas a nivel de bytes en comparación con la implementación estándar de mlx_lm.

github llama.cpp · hace 6 d · 36 vistas

llama.cpp b11307 preserva el orden del lote para la decodificación especulativa

El proyecto llama.cpp lanzó la compilación b11307, que corrige el orden de entrada de las capas para preservar la secuencia original del lote durante la decodificación especulativa. Este cambio asegura que el orden de los tokens se mantenga correctamente para las incrustaciones NextN no enmascaradas y sea compatible con las divisiones de tensores.