github llama.cpp · hace 5 d · inference

llama.cpp b11205 añade soporte CUDA para el tamaño de estado Puzzle de Nemotron 3 de 96

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11205, que introduce una actualización específica en su backend CUDA. Esta versión añade soporte para el tamaño de estado Puzzle de 96 de Nemotron 3 dentro de la implementación del escaneo SSM.

La actualización permite manejar modelos Nemotron 3 con un tamaño de estado puzzle de 96 en hardware CUDA.
Se proporcionan binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android e iOS.
El lanzamiento incluye binarios de UI estándar junto con los ejecutables específicos de la plataforma.

Esta actualización permite a los usuarios ejecutar modelos Nemotron 3 con tamaños de estado específicos en GPUs NVIDIA compatibles utilizando llama.cpp.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

AiiStream Q3.6 permite ejecutar Qwen3.6-35B-A3B en Macs con 8-16 GB de RAM

El autor ha lanzado AiiStream Q3.6, una técnica de código abierto que permite que el modelo Qwen3.6-35B-A3B se ejecute en dispositivos Apple Silicon con solo 8 a 16 GB de RAM. Al mantener los expertos enrutados en SSD y utilizar predicciones de carga anticipada, el método reduce el uso de memoria de MLX a aproximadamente 1,7 GB mientras mantiene salidas idénticas a nivel de bytes en comparación con la implementación estándar de mlx_lm.

github llama.cpp · hace 22 h · 1 vista

llama.cpp b11307 preserva el orden del lote para la decodificación especulativa

El proyecto llama.cpp lanzó la compilación b11307, que corrige el orden de entrada de las capas para preservar la secuencia original del lote durante la decodificación especulativa. Este cambio asegura que el orden de los tokens se mantenga correctamente para las incrustaciones NextN no enmascaradas y sea compatible con las divisiones de tensores.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b11301 corrige desbordamiento entero en ggml/gguf

El proyecto llama.cpp ha lanzado la compilación b11301, que incluye una corrección para un problema de desbordamiento entero dentro de los componentes ggml y gguf. Esta actualización aborda la lógica de validación para prevenir errores potenciales al manejar tensores de cero elementos.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b11302 corrige una carrera de datos de ThreadSanitizer en el indexador disperso

El proyecto llama.cpp lanzó la compilación b11302, que aborda un problema crítico de concurrencia identificado por ThreadSanitizer en la canalización de CI. La actualización resuelve una carrera de datos dentro del mecanismo de atención dispersa donde múltiples hilos de CPU escribían incorrectamente en los mismos elementos de memoria.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b11298 añade soporte para dflash en la conversión y extracción de características

El proyecto llama.cpp ha lanzado la compilación b11298, que introduce soporte para el formato dflash. Esta actualización permite tanto la conversión de modelos a este formato como la posterior capacidad de extracción de características.