github llama.cpp · ahora mismo · inference

llama.cpp b11375 corrige abortos de realocación de grafos bajo GGML_SCHED_NO_REALLOC

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11375, que aborda un problema crítico donde las celdas ubatch no contiguas forzaban realocaciones de grafos que se interrumpían cuando estaba configurado el indicador GGML_SCHED_NO_REALLOC.

La corrección reúne los estados recurrentes una vez para que la reserva cubra cada división, asegurando que el tamaño de reserva en el peor caso sea suficiente.
Una única get_rows ahora reúne n_rs estados, tratando ubatch y estados adicionales como vistas de esta única asignación.
Los getters personalizados como mamba ssm_scan recogen desde el segundo estado para evitar copiar estados para ubatches de secuencia única.
Las vistas se construyen una vez por grafo para mantener sin cambios la sobrecarga del host.

Este cambio asegura una ejecución estable en entornos de programación restringidos al prevenir abortos causados por restricciones de realocación de memoria.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b11372 reduce a la mitad la memoria del índice de qwen4exp y añade soporte para CUDA con 4 cabezas

La versión b11372 de llama.cpp introduce optimizaciones para el índice ligero (lightning indexer) del modelo qwen4exp, principalmente reduciendo a la mitad la memoria requerida para las puntuaciones del índice durante el procesamiento de contextos largos. Esto se logra calculando las puntuaciones de las cabezas in situ en lugar de materializar tensores separados para cada cabeza.

github llama.cpp · hace 11 h · 1 vista

llama.cpp b11368 añade muestreo probabilístico para borrador simple y MTP

El proyecto llama.cpp lanzó la compilación b11368, que introduce muestreo probabilístico para flujos de trabajo de borrador simple y MTP (Multi-Token Prediction). Esta actualización modifica el mecanismo de borrado para usar selección probabilística mientras verifica los objetivos mediante muestreo por rechazo.

github llama.cpp · hace 14 h · 1 vista

llama.cpp b11362 añade kernel de flash attention para API tensorial con KV en F16

El proyecto llama.cpp lanzó la compilación b11362, que introduce un nuevo kernel de flash attention para la API tensorial que admite almacenamiento de claves y valores (KV) en F16. Esta actualización está disponible en las plataformas macOS, Linux, Windows, Android e iOS con varias opciones de backend, incluyendo CUDA, Vulkan y ROCm.

github llama.cpp · hace 18 h · 4 vistas

llama.cpp b11351 añade alloc_buffer_n y get_alloc_size_n a la interfaz de tipo de búfer del backend ggml

El proyecto llama.cpp lanzó la compilación b11351, introduciendo nuevos métodos en la interfaz de tipo de búfer del backend ggml. La actualización añade `alloc_buffer_n` y `get_alloc_size_n` para permitir un control más granular sobre la asignación de búferes y la consulta de tamaños.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b11338 añade copia DMA estrada compartida para CPY y CONCAT

El proyecto llama.cpp lanzó la compilación b11338, introduciendo un mecanismo de copia Direct Memory Access (DMA) estrada compartida para las operaciones CPY y CONCAT. Esta actualización permite CONCAT de cualquier dimensión a través de DMA en arquitecturas Hexagon.