github llama.cpp · hace 1 h · inference

Lanzamiento de llama.cpp b10202 con fusión SYCL RMS_NORM

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10202, introduciendo una optimización SYCL que fusiona las operaciones RMS_NORM y MUL.

Esta actualización proporciona binarios precompilados para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows y Android. Admite varios backends de hardware, incluidos CUDA 12/13, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16, HIP y OpenCL Adreno.

El lanzamiento también incluye la interfaz de usuario estándar de llama.cpp y señala que el soporte de KleidiAI para macOS Apple Silicon está actualmente deshabilitado.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10201 mejora flash attention para KV cuantizado en contextos largos

El proyecto llama.cpp ha lanzado la versión b10201, que incluye una mejora clave al backend ggml-webgpu. Esta actualización mejora el rendimiento de flash attention al manejar cachés de clave-valor cuantizados durante la generación de contexto largo.

github llama.cpp · hace 17 h · 1 vista

llama.cpp b10198 añade soporte de Vulkan para concatenación cuantizada

El proyecto llama.cpp ha lanzado la compilación b10198, que introduce soporte para operaciones de concatenación cuantizada dentro del backend de Vulkan.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10180 añade ruta rápida contigua y matemáticas de índice de 32 bits para operaciones unarias SYCL

El proyecto llama.cpp ha lanzado la compilación b10180, introduciendo optimizaciones de rendimiento para el backend SYCL. La actualización implementa una ruta rápida contigua y cambia las matemáticas de índice elemento a elemento para usar fastdiv con enteros de 32 bits.

github llama.cpp · hace 4 d · 3 vistas

llama.cpp b10155 añade soporte de audio MiMo-V2.5

El proyecto llama.cpp ha lanzado la compilación b10155, que introduce soporte para el modelo de entrada de audio MiMo-V2.5. Esta actualización incluye un convertidor GGUF para audio MiMo e implementa la lógica del backend en C++ necesaria para manejar modelos de audio basados en RVQ.

github llama.cpp · hace 4 d · 3 vistas

llama.cpp b10150 ajusta la lógica de descarga de ggml y corrige el grafo dsv4

El proyecto llama.cpp ha lanzado la compilación b10150, que incluye ajustes en la lógica de ggml para las operaciones de descarga hacia el backend de los pesos. Esta actualización también aborda correcciones para el grafo llama dsv4.