github llama.cpp · hace 2 h · inference

llama.cpp b10231 añade soporte para sidecar DSpark

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10231, introduciendo soporte para el sidecar de descodificación especulativa DSpark. Esta actualización permite que los archivos dspark se resuelvan de manera similar a otros sidecars especulativos, con la etiqueta -hfd aplicándose a ellos y la selección automática priorizando dspark sobre dflash debido a su Markov head adicional.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x con CPU, Vulkan, ROCm 7.2, OpenVINO y backends SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler (x86 y aarch64 con ACL Graph).

Esta actualización expande las opciones de aceleración por hardware disponibles para los usuarios de llama.cpp en múltiples sistemas operativos y arquitecturas de GPU.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10235 añade la op SILU_BACK para f32

El proyecto llama.cpp ha lanzado la versión b10235, introduciendo una nueva operación SILU_BACK para precisión f32. Esta actualización incluye la implementación del operador silu_back y elimina aserciones redundantes del archivo ggml-metal-ops.cpp.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10232 implementa hiperconexiones de DeepSeek V4 en Metal

El proyecto llama.cpp lanzó la compilación b10232, que introduce soporte para las hiperconexiones de DeepSeek V4 a través del backend de Metal. Esta actualización añade la implementación de las operaciones GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE y GGML_OP_DSV4_HC_POST.

github llama.cpp · hace 6 h

llama.cpp b10229 corrige el problema de que los datos de perfilado de OpenCL no se vacíen

El proyecto llama.cpp lanzó la versión b10229, que incluye una corrección crítica para el backend de OpenCL. La actualización aborda un problema donde los datos de perfilado no se escribían durante la terminación del programa.

media Hugging Face Forums · hace 21 h · 6 vistas

Hardik Kumar publica la matriz de precios de inferencia de HF con una diferencia de hasta 4,66x

Un nuevo conjunto de datos publicado en Hugging Face proporciona una matriz de precios integral para proveedores de inferencia de modelos, revelando disparidades significativas de costos para los mismos modelos entre diferentes vendedores.

github llama.cpp · hace 1 d · 7 vistas

llama.cpp b10219 persiste reasoning_content en el historial de chat

El proyecto llama.cpp lanzó la versión b10219, que incluye una corrección para la CLI que permite persistir el contenido del razonamiento dentro del historial de chat. Anteriormente, aunque `llama-cli` recopilaba el razonamiento del stream para su visualización, solo almacenaba el contenido del asistente en los mensajes, lo que impedía que la bandera `--reasoning-preserve` reinyectara los pensamientos previos en turnos posteriores.