github llama.cpp · hace 1 h · inference

llama.cpp b10505 añade la opción de preset dedup-cache-models

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10505, que introduce una nueva opción de preset `dedup-cache-models` para el componente del servidor.

El lanzamiento incluye binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.
El soporte de KleidiAI para macOS Apple Silicon está desactivado en esta compilación.
El soporte de Ubuntu x64 ROCm 7.14 también está desactivado.
Hay un nuevo paquete de interfaz de usuario disponible para descargar junto con los binarios específicos de la plataforma.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

La cuantización de la magnitud de Fourier del caché KV duplica la longitud del contexto con la misma memoria

ntrillard demuestra que cuantificar el espectro de magnitud de Fourier de los valores del caché K y V a 4 bits, mientras se preserva la fase con precisión completa, logra un 96,9 % de coincidencia de tokens con la referencia fp16 en Gemma-3-1B, una mejora de 5 a 10 veces respecto a la cuantización estándar min-max.

github llama.cpp · hace 4 d · 26 vistas

llama.cpp añade soporte para el modelo Kimi-K3 con reempaquetado MXFP4 y plantilla de chat

El proyecto llama.cpp ha añadido soporte para el modelo de texto Kimi-K3, implementando su arquitectura de atención híbrida KDA (lineal) + MLA (completa) junto con cinco características arquitectónicas específicas ausentes en el antiguo Kimi-Linear-48B.

github llama.cpp · hace 4 d · 21 vistas

llama.cpp b10447 rediseña el modelo de hilos yield_to_queue

El proyecto llama.cpp ha lanzado la compilación b10447, que incluye un rediseño del modelo de hilos `yield_to_queue`. Este cambio implica ejecutar `common_speculative_process` en el trabajador y cambiar el diseño del hilo trabajador al principal.

github llama.cpp · hace 4 d · 21 vistas

llama.cpp b10444 añade soporte para modelos asistente MTP y elimina eagle3

El proyecto llama.cpp ha lanzado la versión b10444, introduciendo soporte para cargar modelos asistente de Predicción Multi-Tokens (MTP) a través de la bandera `--models-dir`. Esta actualización también incluye una verificación estricta de prefijos para modelos MTP en las preconfiguraciones y elimina el soporte para el tipo de borrador eagle3.

github llama.cpp · hace 5 d · 19 vistas

llama.cpp b10442 añade SHMEM_STRIDE_PAD de Vulkan para Intel Xe y corrige lectura fuera de límites

El proyecto llama.cpp lanzó la versión b10442, introduciendo optimizaciones específicas de Vulkan para hardware Intel Xe mientras aborda problemas de seguridad de memoria en rutinas de multiplicación de matrices.