github llama.cpp · hace 1 h · inference

llama.cpp b11390 corrige fallo de memoria CUDA MMQ

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b11390, que incluye una corrección para un fallo de memoria CUDA MMQ que ocurría cuando el número de expertos era significativamente mayor que el tamaño del micro-lote.

Resuelve un fallo de memoria en el backend de CUDA relacionado con el manejo de Mixture-of-Experts (MMQ).
Proporciona binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android y openEuler.
Incluye una versión actualizada de la interfaz de usuario.

Esta actualización garantiza la estabilidad para los usuarios que ejecutan modelos Mixture-of-Experts en hardware CUDA al prevenir el error específico de acceso a memoria.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b11375 corrige abortos de realocación de grafos bajo GGML_SCHED_NO_REALLOC

El proyecto llama.cpp lanzó la compilación b11375, que aborda un problema crítico donde las celdas ubatch no contiguas forzaban realocaciones de grafos que se interrumpían cuando estaba configurado el indicador GGML_SCHED_NO_REALLOC.

github llama.cpp · hace 1 d · 15 vistas

llama.cpp b11372 reduce a la mitad la memoria del índice de qwen4exp y añade soporte para CUDA con 4 cabezas

La versión b11372 de llama.cpp introduce optimizaciones para el índice ligero (lightning indexer) del modelo qwen4exp, principalmente reduciendo a la mitad la memoria requerida para las puntuaciones del índice durante el procesamiento de contextos largos. Esto se logra calculando las puntuaciones de las cabezas in situ en lugar de materializar tensores separados para cada cabeza.

github llama.cpp · hace 1 d · 17 vistas

llama.cpp b11368 añade muestreo probabilístico para borrador simple y MTP

El proyecto llama.cpp lanzó la compilación b11368, que introduce muestreo probabilístico para flujos de trabajo de borrador simple y MTP (Multi-Token Prediction). Esta actualización modifica el mecanismo de borrado para usar selección probabilística mientras verifica los objetivos mediante muestreo por rechazo.

github llama.cpp · hace 2 d · 16 vistas

llama.cpp b11362 añade kernel de flash attention para API tensorial con KV en F16

El proyecto llama.cpp lanzó la compilación b11362, que introduce un nuevo kernel de flash attention para la API tensorial que admite almacenamiento de claves y valores (KV) en F16. Esta actualización está disponible en las plataformas macOS, Linux, Windows, Android e iOS con varias opciones de backend, incluyendo CUDA, Vulkan y ROCm.

github llama.cpp · hace 2 d · 16 vistas

llama.cpp b11351 añade alloc_buffer_n y get_alloc_size_n a la interfaz de tipo de búfer del backend ggml

El proyecto llama.cpp lanzó la compilación b11351, introduciendo nuevos métodos en la interfaz de tipo de búfer del backend ggml. La actualización añade `alloc_buffer_n` y `get_alloc_size_n` para permitir un control más granular sobre la asignación de búferes y la consulta de tamaños.