github llama.cpp · hace 1 h · inference

llama.cpp b11403 usa MMVF para mul_mat f16/bf16 delgado en lotes pequeños

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11403, que incluye una optimización de CUDA para usar el kernel MMVF para multiplicaciones de matrices f16 y bf16 delgadas en tamaños de lote pequeños.

Lógica de selección de kernel ajustada para mejorar el rendimiento en GPUs NVIDIA.
Binarios proporcionados para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android y openEuler.
Se incluyeron XCFramework de iOS y compilaciones de UI junto con los binarios estándar.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b11405 aplica tiles al indexador lightning sobre claves y tokens para 4 cabezas

La versión b11405 de llama.cpp actualiza el backend CUDA aplicando tiles al indexador lightning sobre las claves y los tokens para 4 cabezas, abordando problemas de rendimiento con un número reducido de cabezas.

github llama.cpp · hace 19 h · 28 vistas

llama.cpp b11390 corrige fallo de memoria CUDA MMQ

El proyecto llama.cpp ha lanzado la versión b11390, que incluye una corrección para un fallo de memoria CUDA MMQ que ocurría cuando el número de expertos era significativamente mayor que el tamaño del micro-lote.

github llama.cpp · hace 2 d · 24 vistas

llama.cpp b11375 corrige abortos de realocación de grafos bajo GGML_SCHED_NO_REALLOC

El proyecto llama.cpp lanzó la compilación b11375, que aborda un problema crítico donde las celdas ubatch no contiguas forzaban realocaciones de grafos que se interrumpían cuando estaba configurado el indicador GGML_SCHED_NO_REALLOC.

github llama.cpp · hace 2 d · 29 vistas

llama.cpp b11372 reduce a la mitad la memoria del índice de qwen4exp y añade soporte para CUDA con 4 cabezas

La versión b11372 de llama.cpp introduce optimizaciones para el índice ligero (lightning indexer) del modelo qwen4exp, principalmente reduciendo a la mitad la memoria requerida para las puntuaciones del índice durante el procesamiento de contextos largos. Esto se logra calculando las puntuaciones de las cabezas in situ en lugar de materializar tensores separados para cada cabeza.

github llama.cpp · hace 2 d · 30 vistas

llama.cpp b11368 añade muestreo probabilístico para borrador simple y MTP

El proyecto llama.cpp lanzó la compilación b11368, que introduce muestreo probabilístico para flujos de trabajo de borrador simple y MTP (Multi-Token Prediction). Esta actualización modifica el mecanismo de borrado para usar selección probabilística mientras verifica los objetivos mediante muestreo por rechazo.