El proyecto llama.cpp lanzó la versión b10751, que introduce un núcleo fusionado para la reducción de expertos ponderados de MoE (Mixture of Experts) en CUDA. Esta optimización reemplaza la línea base anterior que ejecutaba dos núcleos físicos con un único núcleo de reducción ponderada para reducir el tráfico intermedio de memoria global.
El proyecto llama.cpp lanzó la compilación b10750, que reestructura la gestión de las celdas de clave y valor para mejorar la indexación de la posición de la secuencia y las búsquedas del historial de n-gramas.
El proyecto llama.cpp ha lanzado la versión b10742, que incluye una nueva función que añade ajustes de vector rápido (fa-vec) específicamente para el chip Apple A18 Pro encontrado en el MacBook Neo.
El proyecto llama.cpp ha lanzado la versión b10739, que incluye una optimización de rendimiento específica para el hardware Apple M2 Max. Esta actualización introduce el ajuste de vectores de atención rápida (fa-vec) adaptado a los 30 núcleos GPU del M2 Max.
Hugging Face ha lanzado @huggingface/kernels, una biblioteca para cargar y ejecutar núcleos WebGPU optimizados desde el Hub de Hugging Face, junto con una colección inicial de 207 núcleos. El lanzamiento también introduce Fleet, un conjunto de evaluación de GPU en el navegador que recopila evidencia de rendimiento y corrección de los dispositivos de los usuarios.
El proyecto llama.cpp lanzó la versión b10734, que incluye una actualización para habilitar la API de tensores Metal 4.0 para dispositivos con chips M5+ o A19+.
Turboderp ha lanzado actualizaciones significativas para ExLlamaV3, introduciendo capacidades de descarga a la CPU para expertos de Mixture of Experts (MoE). La actualización también incluye soporte para los recién lanzados modelos GLM-5.3-Flash y Qwen3.8-Flash.
El proyecto llama.cpp lanzó la compilación b10724, que mejora significativamente el rendimiento de la restauración de celdas KV cache no contiguas mediante lecturas scatter agrupadas por ejecución continua.
El proyecto llama.cpp ha lanzado la compilación b10721, que incluye una corrección crítica para el backend de WebGPU y amplía el soporte de hardware en Windows.
El proyecto llama.cpp lanzó la versión b10718, que incluye una actualización significativa en su backend CUDA. El cambio más notable es la extensión de la fusión Mixture of Experts (MOE) para admitir la decodificación especulativa (specdec), abordando limitaciones anteriores donde la fusión MOE glu y topk-router estaba restringida a procesar solo un token a la vez.
El proyecto llama.cpp lanzó la compilación b10715, que incluye una optimización clave en la implementación de DFlash. El codificador DFlash ahora se fusiona directamente en el proceso de inyección del caché KV durante la decodificación.
El proyecto llama.cpp lanzó la compilación b10714, que incluye optimizaciones específicas para el backend de Vulkan dirigido al hardware AMD Strix Halo. La actualización ajusta los conteos de filas de multiplicación de matriz por vector para mejorar el rendimiento durante la inferencia en lotes.
El proyecto llama.cpp ha lanzado la compilación b10706, introduciendo nueva funcionalidad en el backend ggml. Esta actualización incluye la adición de SWIGLU_CLAMP y una nueva implementación del shader de Vulkan.
El proyecto llama.cpp lanzó la versión b10707, que incluye una optimización de rendimiento en el manejo del caché de clave-valor (KV). La actualización modifica la función `for_each_token_in` para detener el escaneo una vez que se han visto todas las secuencias dentro de una celda específica, en lugar de iterar por todas las secuencias máximas posibles.
El proyecto llama.cpp ha lanzado la compilación b10688, que incluye una solicitud de extracción (pull request) que añade ajustes de vector rápido (fa-vec) para la arquitectura M2.
El proyecto llama.cpp ha actualizado su backend OpenCL para mejorar el rendimiento de la multiplicación de matrices en dos generaciones de GPUs Adreno. Los cambios se centran principalmente en la generación X2E al establecer por defecto la ruta GEMM xmem F16xF32 y optimizar el manejo para la generación A7X.
El proyecto llama.cpp lanzó la versión b10684, que incluye una corrección específica para el backend de SYCL para que la bandera `--fit` respete `--fit-target` con mayor precisión.
El proyecto llama.cpp lanzó la versión b10670, que incluye una optimización específica para la arquitectura Xe2 de Intel. La actualización dirige la operación de decodificación de claves y valores (KV) cuantizados exclusivamente al backend TILE para hardware BMG, manteniendo el backend VEC en otras arquitecturas hasta que sean validadas.
El proyecto llama.cpp lanzó la versión b10669, que incluye una optimización de rendimiento para la ruta SDPA de oneDNN vinculando la caché KV f16 in situ.
La versión b10666 de llama.cpp amplía el conjunto de pruebas de guardado/carga de estado para ejecutarse en todas las arquitecturas y resuelve varios errores críticos en la gestión del estado y el manejo del grafo. Los cambios clave incluyen corregir referencias colgantes en minimax-01, alinear la copia de fragmentos para secuencias en el dispositivo y corregir los conteos de cabezales del indexador para deepseek4.