github llama.cpp · ahora mismo · inference

llama.cpp b10673 agrega ajustes fa-vec para Apple M4

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10673, que incluye optimizaciones específicas de rendimiento para hardware Apple M4. Esta actualización introduce registros fa_vec_tuned_table en el módulo ggml-metal-tuning para mejorar la eficiencia del backend Metal.

Agrega tablas de búsqueda ajustadas para cuantizaciones F16, Q4_0, Q4_1, Q5_0, Q5_1 y Q8_0 en chips M4 con 10 núcleos GPU.
Proporciona binarios para macOS Apple Silicon (arm64), macOS Intel (x64) e iOS XCFramework.
Incluye compilaciones de Linux para Ubuntu x64 y arm64 a través de los backends CPU, Vulkan, ROCm 7.14, OpenVINO y SYCL.
Ofrece binarios de Windows para CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL y ROCm 7.14.
Agrega soporte para Android arm64 (CPU) y binarios de interfaz de usuario.

Este lanzamiento asegura que los usuarios en dispositivos Apple M4 puedan aprovechar kernels Metal optimizados para una inferencia más rápida.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10670 dirige la decodificación KV cuantizada a TILE en Xe2 (BMG)

El proyecto llama.cpp lanzó la versión b10670, que incluye una optimización específica para la arquitectura Xe2 de Intel. La actualización dirige la operación de decodificación de claves y valores (KV) cuantizados exclusivamente al backend TILE para hardware BMG, manteniendo el backend VEC en otras arquitecturas hasta que sean validadas.

github llama.cpp · hace 2 h · 2 vistas

llama.cpp b10672 añade soporte para Whisper.cpp, habilitación de NPU para Qwen3.5 y actualización de OpenVINO 2026.3.1

El proyecto llama.cpp lanzó la compilación b10672, que actualiza el backend de OpenVINO a la versión 2026.3.1 y añade soporte para modelos Whisper.cpp en la NPU.

github llama.cpp · hace 4 h · 1 vista

llama.cpp añade ajustes fa-vec para Apple M3 Max, M5 y M5 Pro

El proyecto llama.cpp ha añadido registros de ajuste de vector de atención rápida (fa-vec) para las GPU Apple M3 Max, M5 y M5 Pro con el fin de mejorar el rendimiento de Metal.

github llama.cpp · hace 17 h · 3 vistas

llama.cpp b10665 añade soporte para DSpark en Nemotron3.5

El proyecto llama.cpp lanzó la compilación b10665, que introduce el soporte de DSpark para el modelo Nemotron3.5.

github llama.cpp · hace 20 h · 7 vistas

llama.cpp añade soporte para la arquitectura Qwen3.8-Flash-Next (qwen4exp)

El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Qwen3.8-Flash-Next (qwen4exp), implementando sus componentes específicos, incluidas las hiperconexiones, redes delta con compuerta, Mezcla de Expertos y embeddings de hash n-gram PLE.