github llama.cpp · hace 5 d · inference

llama.cpp b11206 añade soporte para el muestreador del backend Hexagon

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11206, que introduce soporte para el muestreador del backend Hexagon. Esta actualización incluye varios cambios en la tubería de muestreo y operaciones en la NPU Hexagon.

Añadidas las operaciones STEP y SUM al hex-sampler.
Actualizado CPY para soportar casos de muestreo.
Añadido soporte de fragmentación en hex-binary para manejar grandes logits.
Implementada una versión básica de ARGMAX para hex-argmax.
Corregidos problemas de indexación para transmisiones de dim 1 a través de rebanadas de dim 2.
Desactivado el autovectorizador para usar pistas explícitas en bucles críticos.

El lanzamiento proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de varios backends de hardware incluyendo CPU, GPU y NPU.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

AiiStream Q3.6 permite ejecutar Qwen3.6-35B-A3B en Macs con 8-16 GB de RAM

El autor ha lanzado AiiStream Q3.6, una técnica de código abierto que permite que el modelo Qwen3.6-35B-A3B se ejecute en dispositivos Apple Silicon con solo 8 a 16 GB de RAM. Al mantener los expertos enrutados en SSD y utilizar predicciones de carga anticipada, el método reduce el uso de memoria de MLX a aproximadamente 1,7 GB mientras mantiene salidas idénticas a nivel de bytes en comparación con la implementación estándar de mlx_lm.

github llama.cpp · hace 22 h · 1 vista

llama.cpp b11307 preserva el orden del lote para la decodificación especulativa

El proyecto llama.cpp lanzó la compilación b11307, que corrige el orden de entrada de las capas para preservar la secuencia original del lote durante la decodificación especulativa. Este cambio asegura que el orden de los tokens se mantenga correctamente para las incrustaciones NextN no enmascaradas y sea compatible con las divisiones de tensores.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b11301 corrige desbordamiento entero en ggml/gguf

El proyecto llama.cpp ha lanzado la compilación b11301, que incluye una corrección para un problema de desbordamiento entero dentro de los componentes ggml y gguf. Esta actualización aborda la lógica de validación para prevenir errores potenciales al manejar tensores de cero elementos.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b11302 corrige una carrera de datos de ThreadSanitizer en el indexador disperso

El proyecto llama.cpp lanzó la compilación b11302, que aborda un problema crítico de concurrencia identificado por ThreadSanitizer en la canalización de CI. La actualización resuelve una carrera de datos dentro del mecanismo de atención dispersa donde múltiples hilos de CPU escribían incorrectamente en los mismos elementos de memoria.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b11298 añade soporte para dflash en la conversión y extracción de características

El proyecto llama.cpp ha lanzado la compilación b11298, que introduce soporte para el formato dflash. Esta actualización permite tanto la conversión de modelos a este formato como la posterior capacidad de extracción de características.