github llama.cpp · ahora mismo · inference

llama.cpp b10158 añade soporte para eagle3-v3 en el modelo gpt-oss

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10158, que introduce soporte para la arquitectura eagle3-v3 dentro del modelo gpt-oss.

Esta actualización está disponible en múltiples plataformas y configuraciones de hardware. Las descargas incluyen binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu con CPU, Vulkan, ROCm 7.2, OpenVINO y SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL y HIP), Android y openEuler.

El lanzamiento proporciona binarios precompilados para la aplicación principal y su interfaz de usuario, permitiendo a los usuarios ejecutar el modelo actualizado en una amplia variedad de sistemas sin compilar desde el código fuente.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10098 actualiza las operaciones de activación Hexagon

El proyecto llama.cpp lanzó la versión b10098, que incluye una actualización a las operaciones de activación Hexagon. Esta versión proporciona binarios para macOS, Linux, Android, Windows y openEuler en varios backends de CPU y GPU.

lab Hugging Face Blog · hace 5 d · 1 vista

Diffusers añade soporte nativo para inferencia Nunchaku Lite de 4 bits

Hugging Face Diffusers ahora admite la carga de checkpoints de Nunchaku Lite de forma nativa mediante `from_pretrained()`, eliminando la necesidad de un motor de inferencia separado o compilación local de CUDA. Esta integración utiliza el método SVDQuant para ejecutar capas transformadoras con pesos y activaciones de 4 bits (W4A4), reduciendo significativamente el uso de memoria mientras mejora la velocidad de inferencia.

github llama.cpp · hace 6 d · 1 vista

llama.cpp b10089 añade soporte completo de k-quant e i-quant a CUDA GET_ROWS

La versión llama.cpp b10089 extiende las operaciones CUDA GET_ROWS para dar formato a los formatos de cuantización k-quants, i-quants y mxfp4. Este cambio asegura que todos los tipos GGML cuantizados ahora pueden tomar la ruta directa del dispositivo para búsquedas de incrustaciones.

github llama.cpp · hace 6 d

llama.cpp b10085 corrige la localización de Qwen3-VL alineando la interpolación de incrustaciones de posición

El proyecto llama.cpp lanzó la compilación b10085, que incluye una corrección para la interpolación de incrustaciones de posición del modelo de visión Qwen3-VL para resolver las discrepancias en las coordenadas de localización.

github llama.cpp · hace 8 d · 2 vistas

llama.cpp b10069 añade soporte de difusión OpenCL para Adreno MUL_MAT

El proyecto llama.cpp lanzó la compilación b10069, que incluye actualizaciones específicas de OpenCL para GPUs Qualcomm Adreno. El cambio principal implica soportar operaciones de difusión para el kernel Adreno MUL_MAT y respetar los desplazamientos de vista para la variante Q8_0 MUL_MAT para habilitar la funcionalidad multi-stream en llama-server.