github llama.cpp · hace 2 h · inference

llama.cpp b10305 añade soporte SYCL para operaciones DSv4

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10305, que introduce soporte para operaciones específicas de DSv4 dentro del backend SYCL. Esta actualización incluye la implementación de los operadores LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST y DSV4_HC_PRE.

Soporte añadido para operaciones DSv4: LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST y DSV4_HC_PRE en el backend SYCL.
Actualizaciones al archivo de documentación ops.md.
Correcciones aplicadas a problemas de formato dentro del código fuente.

Esta versión proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu con CPU, Vulkan, ROCm 7.2, OpenVINO y SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y plataformas openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10307 corrige el análisis de NVFP4 en SYCL

El proyecto llama.cpp lanzó la versión b10307, que incluye una corrección para el código GPU de SYCL que permite analizar correctamente los factores de escala UE4M3 utilizados en la cuantización NVFP4.

github llama.cpp · hace 2 h

llama.cpp b10306 añade ruta plana de GLU SYCL y consolida kernels

La versión b10306 de llama.cpp introduce optimizaciones de rendimiento para el backend SYCL, específicamente dirigidas a las operaciones de Unidad Lineal con Puerta (GLU). La actualización añade una ruta rápida contigua para las operaciones GLU fusionadas y consolida kernels previamente distintos para compartir un lanzador común.

github llama.cpp · hace 16 h

llama.cpp b10298 añade función de guardado/carga de fragmentos para mtmd

El proyecto llama.cpp ha lanzado la compilación b10298, que introduce una nueva función de guardado y carga de fragmentos para el módulo mtmd. Esta actualización también incluye limpieza de código y pruebas adicionales.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b10293 añade CI de ROCm para gfx1151 y corrige la inferencia en RDNA3.5

El proyecto llama.cpp lanzó la compilación b10293, que incluye la integración continua de AMD ROCm para la arquitectura gfx1151 y resuelve problemas de corrección en GPUs integradas con RDNA3.5.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10291 corrige el enrutamiento por lotes de envío de Vulkan y añade herramientas de depuración DeviceLost

El proyecto llama.cpp ha lanzado la versión b10291, que incluye correcciones críticas para el backend de Vulkan junto con actualizaciones estándar de la plataforma. Los cambios técnicos principales abordan problemas del tamaño del lote de envío e introducen nuevas capacidades de diagnóstico para errores del controlador.