github llama.cpp · hace 1 h · inference

llama.cpp b10207 añade soporte SYCL para tipos faltantes en cpy

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10207, que incluye un pull request para añadir soporte SYCL a tipos de datos previamente no soportados en la operación cpy.

La actualización aborda la falta de soporte de tipos dentro de la funcionalidad cpy mediante el PR #26005.
Se proporcionan distribuciones binarias para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), Android y openEuler.
El soporte de macOS Apple Silicon con KleidiAI está actualmente deshabilitado en esta versión.

Esta versión expande la compatibilidad de hardware de llama.cpp al habilitar la ejecución SYCL en tipos de datos adicionales.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10206 aplica los mismos tipos de caché K y V para modelos DeepSeek V4 y MLA

El proyecto llama.cpp ha lanzado la versión b10206, que introduce cambios específicos en cómo se manejan los cachés de clave-valor en los mecanismos de atención. La actualización asegura que los tipos de caché K y V permanezcan consistentes para los modelos DeepSeek V4.

github llama.cpp · hace 5 h

Lanzamiento de llama.cpp b10202 con fusión SYCL RMS_NORM

El proyecto llama.cpp ha lanzado la versión b10202, introduciendo una optimización SYCL que fusiona las operaciones RMS_NORM y MUL.

github llama.cpp · hace 7 h · 1 vista

llama.cpp b10201 mejora flash attention para KV cuantizado en contextos largos

El proyecto llama.cpp ha lanzado la versión b10201, que incluye una mejora clave al backend ggml-webgpu. Esta actualización mejora el rendimiento de flash attention al manejar cachés de clave-valor cuantizados durante la generación de contexto largo.

github llama.cpp · hace 21 h · 1 vista

llama.cpp b10198 añade soporte de Vulkan para concatenación cuantizada

El proyecto llama.cpp ha lanzado la compilación b10198, que introduce soporte para operaciones de concatenación cuantizada dentro del backend de Vulkan.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10180 añade ruta rápida contigua y matemáticas de índice de 32 bits para operaciones unarias SYCL

El proyecto llama.cpp ha lanzado la compilación b10180, introduciendo optimizaciones de rendimiento para el backend SYCL. La actualización implementa una ruta rápida contigua y cambia las matemáticas de índice elemento a elemento para usar fastdiv con enteros de 32 bits.