github llama.cpp · hace 1 h · inference

llama.cpp añade ajustes fa-vec para Apple M3 Max, M5 y M5 Pro

Traducido del English → Español

El proyecto llama.cpp ha añadido registros de ajuste de vector de atención rápida (fa-vec) para las GPU Apple M3 Max, M5 y M5 Pro con el fin de mejorar el rendimiento de Metal.

Los ajustes para la Apple M5 se generaron en una máquina M5 utilizando tipos de datos f16 y q8_0.
Los registros para la Apple M5 Pro cubren los formatos F16, Q4_0 y Q8_0 a través de 20 núcleos de GPU.
El soporte para el M3 Max incluye configuraciones F16 y Q8_0 en un MacBook Pro con 64GB en modo de bajo consumo.

Estas actualizaciones amplían las capacidades de aceleración de Metal a nuevas arquitecturas de Apple silicon.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10665 añade soporte para DSpark en Nemotron3.5

El proyecto llama.cpp lanzó la compilación b10665, que introduce el soporte de DSpark para el modelo Nemotron3.5.

github llama.cpp · hace 17 h · 7 vistas

llama.cpp añade soporte para la arquitectura Qwen3.8-Flash-Next (qwen4exp)

El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Qwen3.8-Flash-Next (qwen4exp), implementando sus componentes específicos, incluidas las hiperconexiones, redes delta con compuerta, Mezcla de Expertos y embeddings de hash n-gram PLE.

github llama.cpp · hace 1 d · 8 vistas

llama.cpp b10653 añade TENSOR_READ_LAZY para la carga de modelos

El proyecto llama.cpp ha lanzado la compilación b10653, introduciendo la función TENSOR_READ_LAZY en su cargador de modelos. Este cambio incluye la adición de la función TENSOR_GET_ROW_LAZY y una bandera correspondiente --tensor-read-lazy en la línea de comandos.

github llama.cpp · hace 1 d · 7 vistas

llama.cpp b10655 añade soporte para LIGHTNING_INDEXER en operaciones de Deepseek V4 en Vulkan

El proyecto llama.cpp lanzó la compilación b10655, que introduce soporte para la operación LIGHTNING_INDEXER dentro del backend de Vulkan para habilitar las operaciones de Deepseek V4.

github llama.cpp · hace 2 d · 6 vistas

llama.cpp b10639 corrige la suposición del tamaño de warptile en Vulkan

El proyecto llama.cpp lanzó la compilación b10639, que incluye una corrección para el backend de Vulkan donde las warptiles asumían previamente que los tamaños de warp eran menores o iguales a 64. Este cambio limita el tamaño de warp para evitar problemas con warps más grandes.