github llama.cpp · hace 20 h · inference

la versión b11101 de llama.cpp permite llamadas repetidas a find_package para llama

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11101, que incluye una corrección del sistema de compilación que permite llamadas repetidas a find_package para la biblioteca llama.

cmake: permitir llamadas repetidas a find_package para llama (PR #29228)
Binarios para macOS/iOS proporcionados para Apple Silicon (arm64), Intel (x64) y iOS XCFramework; el soporte de KleidiAI está desactivado.
Binarios para Linux disponibles para Ubuntu x64, arm64 y s390x en las plataformas CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL y Snapdragon.
Binarios para Android arm64 lanzados para CPU y Snapdragon (CPU, GPU Adreno, NPU Hexagon).
Binarios para Windows proporcionados para CPUs x64 y arm64, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL y ROCm 10.0.
El soporte de openEuler está en gran medida desactivado, con solo configuraciones específicas de 310p y 910b (ACL Graph) listadas.

Esta versión proporciona binarios actualizados para una amplia gama de aceleradores de hardware y sistemas operativos, junto con la corrección de cmake.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Artículos relacionados

github llama.cpp · ahora mismo · 1 vista En vivo

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.

github llama.cpp · hace 14 h · 11 vistas

llama.cpp b11111 añade kernels de optimización flash attention para Intel Xe

El proyecto llama.cpp lanzó la compilación b11111, que introduce kernels de optimización flash attention basados en Vulkan para rutas split k en las arquitecturas Xe-LPG Plus, Xe2 y Xe3.

github llama.cpp · hace 17 h · 9 vistas

llama.cpp añade soporte para DFlash en HunyuanOCR y corrige la conversión de borrador

El proyecto llama.cpp ha añadido soporte para la decodificación especulativa DFlash con el modelo HunyuanOCR, exponiendo los tensores de entrada de las capas en el grafo objetivo. Este cambio permite que el modelo de borrador lea los flujos residuales, lo que posibilita que las solicitudes de imagen se ejecuten correctamente con una tasa de aceptación del borrador de aproximadamente 0.5 y una salida OCR idéntica a nivel de bytes en comparación con las ejecuciones no especulativas.

lab Hugging Face Blog · hace 21 h · 10 vistas

Transformers añade soporte para GGUF mediante núcleos ggml para inferencia local

La biblioteca Transformers de Hugging Face ahora admite la carga de modelos cuantizados en formato GGUF, aprovechando los núcleos subyacentes de ggml para acercar el rendimiento al de llama.cpp. Esta integración permite a los desarrolladores ejecutar puntos de control cuantizados directamente dentro de la API estándar basada en PyTorch en hardware compatible.

github llama.cpp · hace 1 d · 11 vistas

llama.cpp b11097 añade el kernel binario dp4a para A8 Q4_0 non-MoE

El proyecto llama.cpp ha lanzado la versión b11097, que introduce un kernel binario OpenCL para el formato A8 Q4_0 non-MoE dp4a.