github llama.cpp · hace 1 h · inference

llama.cpp b10201 mejora flash attention para KV cuantizado en contextos largos

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10201, que incluye una mejora clave al backend ggml-webgpu. Esta actualización mejora el rendimiento de flash attention al manejar cachés de clave-valor cuantizados durante la generación de contexto largo.

Procesamiento vectorial mejorado de flash attention para caché KV cuantizado en ggml-webgpu.
Corrección de errores relacionados con la verificación del tipo de valor y actualización de comentarios.
Resolución de errores de compilación causados por rebasing.
Binarios proporcionados para macOS (Apple Silicon, Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO, SYCL) y openEuler.

Esta versión permite a los usuarios ejecutar llama.cpp en una amplia gama de plataformas de hardware mientras se benefician de mecanismos de atención optimizados para secuencias más largas.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

Lanzamiento de llama.cpp b10202 con fusión SYCL RMS_NORM

El proyecto llama.cpp ha lanzado la versión b10202, introduciendo una optimización SYCL que fusiona las operaciones RMS_NORM y MUL.

github llama.cpp · hace 16 h · 1 vista

llama.cpp b10198 añade soporte de Vulkan para concatenación cuantizada

El proyecto llama.cpp ha lanzado la compilación b10198, que introduce soporte para operaciones de concatenación cuantizada dentro del backend de Vulkan.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10180 añade ruta rápida contigua y matemáticas de índice de 32 bits para operaciones unarias SYCL

El proyecto llama.cpp ha lanzado la compilación b10180, introduciendo optimizaciones de rendimiento para el backend SYCL. La actualización implementa una ruta rápida contigua y cambia las matemáticas de índice elemento a elemento para usar fastdiv con enteros de 32 bits.

github llama.cpp · hace 4 d · 3 vistas

llama.cpp b10155 añade soporte de audio MiMo-V2.5

El proyecto llama.cpp ha lanzado la compilación b10155, que introduce soporte para el modelo de entrada de audio MiMo-V2.5. Esta actualización incluye un convertidor GGUF para audio MiMo e implementa la lógica del backend en C++ necesaria para manejar modelos de audio basados en RVQ.

github llama.cpp · hace 4 d · 2 vistas

llama.cpp b10150 ajusta la lógica de descarga de ggml y corrige el grafo dsv4

El proyecto llama.cpp ha lanzado la compilación b10150, que incluye ajustes en la lógica de ggml para las operaciones de descarga hacia el backend de los pesos. Esta actualización también aborda correcciones para el grafo llama dsv4.