El componente webgpu ha añadido soporte para formatos MMVQ (Multi-Mode Vector Quantization), específicamente Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K y MXFP4.
Esta actualización aborda el problema #29 en el repositorio llama.cpp para ampliar las capacidades de cuantización dentro del entorno webgpu.
El autor ha creado eqx-zoo, una biblioteca que carga checkpoints de Hugging Face Hub directamente como módulos plain de Equinox y verifica cada modelo contra la biblioteca transformers. El proyecto actualmente soporta Llama, Qwen2, Qwen3, Qwen3-MoE para generación, y BERT, RoBERTa, XLM-RoBERTa para embeddings.
El autor ha lanzado AiiStream Q3.6, una técnica de código abierto que permite que el modelo Qwen3.6-35B-A3B se ejecute en dispositivos Apple Silicon con solo 8 a 16 GB de RAM. Al mantener los expertos enrutados en SSD y utilizar predicciones de carga anticipada, el método reduce el uso de memoria de MLX a aproximadamente 1,7 GB mientras mantiene salidas idénticas a nivel de bytes en comparación con la implementación estándar de mlx_lm.
El proyecto llama.cpp lanzó la compilación b11307, que corrige el orden de entrada de las capas para preservar la secuencia original del lote durante la decodificación especulativa. Este cambio asegura que el orden de los tokens se mantenga correctamente para las incrustaciones NextN no enmascaradas y sea compatible con las divisiones de tensores.
El proyecto llama.cpp ha lanzado la compilación b11301, que incluye una corrección para un problema de desbordamiento entero dentro de los componentes ggml y gguf. Esta actualización aborda la lógica de validación para prevenir errores potenciales al manejar tensores de cero elementos.
El proyecto llama.cpp lanzó la compilación b11302, que aborda un problema crítico de concurrencia identificado por ThreadSanitizer en la canalización de CI. La actualización resuelve una carrera de datos dentro del mecanismo de atención dispersa donde múltiples hilos de CPU escribían incorrectamente en los mismos elementos de memoria.
Usamos cookies para medir el tráfico y mejorar el sitio. Puedes aceptar o rechazar las cookies de analítica. Política de privacidad