github llama.cpp · ahora mismo · inference

llama.cpp b10742 añade ajustes fa-vec para A18 Pro

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10742, que incluye una nueva función que añade ajustes de vector rápido (fa-vec) específicamente para el chip Apple A18 Pro encontrado en el MacBook Neo.

Esta versión proporciona binarios a través de múltiples plataformas y configuraciones de hardware:

macOS: Apple Silicon (arm64), Intel (x64) e iOS XCFramework.
Linux: compilaciones de Ubuntu para CPU (x64, arm64, s390x), Vulkan, ROCm 7.14, OpenVINO y SYCL (FP32/FP16).
Windows: CPU (x64, arm64), OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL y ROCm 7.14.
Android: CPU arm64.

Las notas de la versión indican que el soporte de KleidiAI para macOS Apple Silicon está actualmente deshabilitado en esta compilación.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10739 añade ajuste fa-vec para M2 Max

El proyecto llama.cpp ha lanzado la versión b10739, que incluye una optimización de rendimiento específica para el hardware Apple M2 Max. Esta actualización introduce el ajuste de vectores de atención rápida (fa-vec) adaptado a los 30 núcleos GPU del M2 Max.

lab Hugging Face Blog · hace 3 h · 3 vistas

Hugging Face lanza 207 núcleos WebGPU y una herramienta de evaluación en el navegador

Hugging Face ha lanzado @huggingface/kernels, una biblioteca para cargar y ejecutar núcleos WebGPU optimizados desde el Hub de Hugging Face, junto con una colección inicial de 207 núcleos. El lanzamiento también introduce Fleet, un conjunto de evaluación de GPU en el navegador que recopila evidencia de rendimiento y corrección de los dispositivos de los usuarios.

github llama.cpp · hace 7 h · 1 vista

llama.cpp b10734 habilita la API de tensores Metal 4.0 en M5+/A19+

El proyecto llama.cpp lanzó la versión b10734, que incluye una actualización para habilitar la API de tensores Metal 4.0 para dispositivos con chips M5+ o A19+.

media r/LocalLLaMA · hace 12 h · 1 vista

ExLlamaV3 añade descarga a la CPU para expertos MoE y nuevos modelos GLM-5.3-Flash, Qwen3.8-Flash

Turboderp ha lanzado actualizaciones significativas para ExLlamaV3, introduciendo capacidades de descarga a la CPU para expertos de Mixture of Experts (MoE). La actualización también incluye soporte para los recién lanzados modelos GLM-5.3-Flash y Qwen3.8-Flash.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b10724 optimiza la restauración del estado de kv-cache para reducir las copias de 1.3M a 224

El proyecto llama.cpp lanzó la compilación b10724, que mejora significativamente el rendimiento de la restauración de celdas KV cache no contiguas mediante lecturas scatter agrupadas por ejecución continua.