media Hugging Face Forums · ahora mismo · open_models

AiiStream Q3.6 permite ejecutar Qwen3.6-35B-A3B en Macs con 8-16 GB de RAM

Traducido del English → Español

El autor ha lanzado AiiStream Q3.6, una técnica de código abierto que permite que el modelo Qwen3.6-35B-A3B se ejecute en dispositivos Apple Silicon con solo 8 a 16 GB de RAM. Al mantener los expertos enrutados en SSD y utilizar predicciones de carga anticipada, el método reduce el uso de memoria de MLX a aproximadamente 1,7 GB mientras mantiene salidas idénticas a nivel de bytes en comparación con la implementación estándar de mlx_lm.

Métricas clave de rendimiento en un MacBook Air M5 de 16 GB:

15,0 tokens/s en pruebas controladas, lo que es un 72,6% más rápido que el streaming directo desde SSD.
Aproximadamente 11,8 tokens/s con otras aplicaciones en ejecución.
Un tiempo hasta el primer token de alrededor de 2,3 segundos para prompts cortos.

La técnica está diseñada para funcionar también en Macs con 8 GB, aunque las cifras de rendimiento para esa configuración siguen siendo estimaciones basadas en la versión actual.

Importancia 1/3 Nuevo entorno de evaluación con diferenciadores Confianza 1/3 Hugging Face Forums Inference efficiency Local inference

Leer original

llama.cpp b11307 preserva el orden del lote para la decodificación especulativa

El proyecto llama.cpp lanzó la compilación b11307, que corrige el orden de entrada de las capas para preservar la secuencia original del lote durante la decodificación especulativa. Este cambio asegura que el orden de los tokens se mantenga correctamente para las incrustaciones NextN no enmascaradas y sea compatible con las divisiones de tensores.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b11301 corrige desbordamiento entero en ggml/gguf

El proyecto llama.cpp ha lanzado la compilación b11301, que incluye una corrección para un problema de desbordamiento entero dentro de los componentes ggml y gguf. Esta actualización aborda la lógica de validación para prevenir errores potenciales al manejar tensores de cero elementos.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b11302 corrige una carrera de datos de ThreadSanitizer en el indexador disperso

El proyecto llama.cpp lanzó la compilación b11302, que aborda un problema crítico de concurrencia identificado por ThreadSanitizer en la canalización de CI. La actualización resuelve una carrera de datos dentro del mecanismo de atención dispersa donde múltiples hilos de CPU escribían incorrectamente en los mismos elementos de memoria.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b11298 añade soporte para dflash en la conversión y extracción de características

El proyecto llama.cpp ha lanzado la compilación b11298, que introduce soporte para el formato dflash. Esta actualización permite tanto la conversión de modelos a este formato como la posterior capacidad de extracción de características.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b11284 corrige GET_ROWS de OpenVINO en vistas de pesos cuantizados

El proyecto llama.cpp lanzó la compilación b11284, que incluye una corrección para el backend de OpenVINO con el fin de manejar correctamente las operaciones GET_ROWS en vistas de pesos cuantizados.