github llama.cpp · hace 1 h · inference

llama.cpp b11450 añade soporte para tensores RPC y corrige el vaciado de Apple RDMA

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11450, introduciendo mejoras en la llamada a procedimientos remotos (RPC) y correcciones de errores específicas de la plataforma. La actualización permite la bandera `-sm tensor` para operaciones RPC y resuelve un problema de vaciado que afecta a las implementaciones de Apple RDMA.

Añadido soporte para el argumento `-sm tensor` en configuraciones RPC.
Corregido el comportamiento de vaciado de datos para sistemas Apple RDMA.
Movidos graph_uids al módulo rpc_dispatcher.
Detenido el giro innecesario del hilo del despachador.
Incrementado el número mayor de la versión RPC.
Proporcionados binarios para macOS, Linux, Windows, Android y openEuler a través de backends CPU, GPU y NPU.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b11440 re-reserva el programador cuando cambian las banderas de extracción NextN

El proyecto llama.cpp lanzó la versión b11440, que incluye una corrección para la inicialización especulativa de MTP. La actualización asegura que el programador sea re-reservado cuando cambian las banderas de extracción NextN, previniendo problemas con la extracción no enmascarada.

github llama.cpp · hace 1 d · 21 vistas

llama.cpp b11413 añade atención flash dispersa de Vulkan para K/V cuantizados

La versión b11413 de llama.cpp introduce una nueva implementación de atención flash dispersa en Vulkan que soporta tensores de Clave y Valor cuantizados. Esta actualización aborda problemas de rendimiento en el método anterior de compactación, que era demasiado costoso para tareas de decodificación con ventanas de contexto grandes.

github llama.cpp · hace 2 d · 22 vistas

webgpu añade soporte para MMVQ de Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4

El componente webgpu ha añadido soporte para formatos MMVQ (Multi-Mode Vector Quantization), específicamente Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K y MXFP4.

media Hugging Face Forums · hace 2 d · 27 vistas

Eqx-zoo proporciona puertos verificados de modelos Equinox de Hugging Face

El autor ha creado eqx-zoo, una biblioteca que carga checkpoints de Hugging Face Hub directamente como módulos plain de Equinox y verifica cada modelo contra la biblioteca transformers. El proyecto actualmente soporta Llama, Qwen2, Qwen3, Qwen3-MoE para generación, y BERT, RoBERTa, XLM-RoBERTa para embeddings.

media Hugging Face Forums · hace 5 d · 28 vistas

AiiStream Q3.6 permite ejecutar Qwen3.6-35B-A3B en Macs con 8-16 GB de RAM

El autor ha lanzado AiiStream Q3.6, una técnica de código abierto que permite que el modelo Qwen3.6-35B-A3B se ejecute en dispositivos Apple Silicon con solo 8 a 16 GB de RAM. Al mantener los expertos enrutados en SSD y utilizar predicciones de carga anticipada, el método reduce el uso de memoria de MLX a aproximadamente 1,7 GB mientras mantiene salidas idénticas a nivel de bytes en comparación con la implementación estándar de mlx_lm.