github llama.cpp · ahora mismo · inference

llama.cpp b10752 añade soporte de compilación metallib para xcframework

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10752, que introduce soporte de compilación metallib para el XCFramework de iOS. Esta actualización permite a los desarrolladores integrar la biblioteca en aplicaciones iOS utilizando el backend Metal.

Binarios de macOS Apple Silicon (arm64) están disponibles.
Se proporcionan binarios de macOS Intel (x64).
Las compilaciones de Ubuntu incluyen variantes de CPU, Vulkan, ROCm 7.14, OpenVINO y SYCL.
Las versiones de Windows admiten CPU, Vulkan, OpenCL Adreno, CUDA 12/13, OpenVINO, SYCL y ROCm 7.14.
Se incluyen binarios de Android arm64 (CPU).

El lanzamiento proporciona binarios precompilados para una amplia gama de plataformas y aceleradores de hardware.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10751 fusiona la reducción de expertos ponderados de MoE para CUDA

El proyecto llama.cpp lanzó la versión b10751, que introduce un núcleo fusionado para la reducción de expertos ponderados de MoE (Mixture of Experts) en CUDA. Esta optimización reemplaza la línea base anterior que ejecutaba dos núcleos físicos con un único núcleo de reducción ponderada para reducir el tráfico intermedio de memoria global.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b10750 optimiza la búsqueda de n-gramas en el caché KV para un aumento del 4,9 % en el rendimiento

El proyecto llama.cpp lanzó la compilación b10750, que reestructura la gestión de las celdas de clave y valor para mejorar la indexación de la posición de la secuencia y las búsquedas del historial de n-gramas.

github llama.cpp · hace 5 h · 1 vista

llama.cpp b10742 añade ajustes fa-vec para A18 Pro

El proyecto llama.cpp ha lanzado la versión b10742, que incluye una nueva función que añade ajustes de vector rápido (fa-vec) específicamente para el chip Apple A18 Pro encontrado en el MacBook Neo.

github llama.cpp · hace 8 h · 1 vista

llama.cpp b10738 añade límite de memoria fija del host para SYCL

El proyecto llama.cpp ha lanzado la versión b10738, proporcionando binarios para macOS, Linux, Windows, Android y openEuler en CPU, GPU y varios backends de aceleradores.

github llama.cpp · hace 8 h · 1 vista

llama.cpp b10739 añade ajuste fa-vec para M2 Max

El proyecto llama.cpp ha lanzado la versión b10739, que incluye una optimización de rendimiento específica para el hardware Apple M2 Max. Esta actualización introduce el ajuste de vectores de atención rápida (fa-vec) adaptado a los 30 núcleos GPU del M2 Max.