github llama.cpp · ahora mismo · inference

llama.cpp b10738 añade límite de memoria fija del host para SYCL

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10738, proporcionando binarios para macOS, Linux, Windows, Android y openEuler en CPU, GPU y varios backends de aceleradores.

El lanzamiento incluye una actualización específica al soporte de SYCL que limita la memoria máxima de asignación a 2 GB para memoria fija del host.
Las compilaciones de macOS Apple Silicon con KleidiAI están desactivadas en esta versión.
Se incluye el soporte preview para CUDA 13 en Windows arm64.
Los binarios de ROCm 7.14 y OpenVINO 2026.3.1 están disponibles para Ubuntu y Windows.

Esta actualización permite a los usuarios acceder a la última funcionalidad de llama.cpp en hardware compatible, con atención específica a las restricciones de memoria en las implementaciones de SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

Hugging Face lanza 207 núcleos WebGPU y una herramienta de evaluación en el navegador

Hugging Face ha lanzado @huggingface/kernels, una biblioteca para cargar y ejecutar núcleos WebGPU optimizados desde el Hub de Hugging Face, junto con una colección inicial de 207 núcleos. El lanzamiento también introduce Fleet, un conjunto de evaluación de GPU en el navegador que recopila evidencia de rendimiento y corrección de los dispositivos de los usuarios.

github llama.cpp · hace 2 h · 11 vistas

llama.cpp b10737 corrige la persistencia/restauración del estado de qwen4exp y desactiva el tensor -sm

El proyecto llama.cpp lanzó la compilación b10737, que aborda errores críticos en el soporte de la arquitectura qwen4exp. La actualización resuelve problemas con la persistencia del estado de secuencia y evita abortos de CUDA durante la carga del modelo.

github llama.cpp · hace 11 h · 2 vistas

llama.cpp b10730 optimiza el procesamiento de prompts de Qwen4exp sumando cabezas del indexador por fragmentos

El proyecto llama.cpp lanzó la compilación b10730, que incluye optimizaciones para la arquitectura del modelo Qwen4exp. El cambio principal consiste en sumar las cabezas del indexador por fragmentos en lugar de utilizar una operación de transposición y sum_rows, reduciendo la sobrecarga de copia de memoria.

github llama.cpp · hace 19 h · 3 vistas

llama.cpp b10727 añade soporte de concatenación para tipos cuantizados

El proyecto llama.cpp ha publicado la compilación b10727, que introduce soporte de concatenación para tipos de datos cuantizados. Esta actualización está asistida por DeepSeek-V4-Flash-0731 e incluye binarios para macOS, Linux, Windows, Android y openEuler en varios backends de hardware, incluyendo CPU, CUDA, ROCm y Vulkan.

github llama.cpp · hace 21 h · 6 vistas

llama.cpp b10726 acelera el procesamiento de prompts de modelos IQ en grandes lotes con AVX2

El proyecto llama.cpp lanzó la versión b10726, que introduce optimizaciones significativas de rendimiento para procesar tamaños de lote grandes en modelos cuantizados IQ. La actualización principal aprovecha las instrucciones AVX2 para acelerar los cuantizados IQ de cuadrícula a través de operaciones GEMM por lotes.