github llama.cpp · hace 1 h · inference

llama.cpp b10256 paraleliza el kernel de concatenación no contigua para SYCL

Traducido del English → Español

La versión llama.cpp b10256 incluye un cambio para paralelizar el kernel de concatenación no contigua para dispositivos SYCL. La actualización modifica la geometría de lanzamiento desde un grupo de trabajo de un solo carril a uno que utiliza `SYCL_CONCAT_BLOCK_SIZE`.

El kernel de concatenación no contigua de SYCL ahora lanza un grupo de trabajo más ancho para mejorar el paralelismo.
Las pruebas en un Arc Pro B70 con Qwen3.6-27B muestran un aumento del 9,4% en el rendimiento (de 920 a 1006 t/s).
La versión proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, Vulkan, ROCm, OpenVINO y SYCL.

Esta optimización mejora el rendimiento de inferencia en GPUs de Intel utilizando el backend SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10254 añade la plantilla DeepSeek V4 Flash 0731 y actualiza las plantillas V4

El proyecto llama.cpp lanzó la versión b10254, introduciendo una nueva plantilla de chat para el modelo DeepSeek V4 Flash 0731 junto con actualizaciones a las plantillas existentes de DeepSeek V4.

github llama.cpp · hace 1 h En vivo

llama.cpp b10255 extiende oneDNN SDPA a cachés KV no FP16

La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.

github llama.cpp · hace 4 h

llama.cpp b10251 añade soporte MTP para GLM-4.7-Flash

El proyecto llama.cpp ha lanzado la compilación b10251, que introduce soporte de Predicción Multi-Tokens (MTP) para el modelo GLM-4.7-Flash.

media r/LocalLLaMA · hace 5 h

AFM3 20B de Apple utiliza poda de seguimiento de instrucciones para activar ~20% de las capas

Apple ha presentado una nueva arquitectura para sus modelos base de tercera generación (AFM3) que utiliza "Poda de Seguimiento de Instrucciones" para reducir significativamente el conteo de parámetros activos. El modelo está diseñado para activar aproximadamente el 20% de sus capas MLP tomando decisiones de enrutamiento una vez por prompt en lugar de por token.

github llama.cpp · hace 6 h

llama.cpp b10249 añade la herramienta get_info al servidor

El proyecto llama.cpp lanzó la versión b10249, que introduce una nueva herramienta `get_info` en el componente del servidor. Esta actualización también incluye correcciones de documentación para la bandera `--rpc`.