github llama.cpp · hace 1 h · inference

llama.cpp b10985 restringe la caché hash RPC a los pesos

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10985, que modifica el backend RPC para limitar el almacenamiento en caché basado en hash exclusivamente a tensores de pesos. Este cambio aborda un problema donde los datos de activación se hashaban y almacenaban innecesariamente, lo que provocaba un uso excesivo del disco.

Las funciones `ggml_backend_rpc_buffer_set_tensor` y `ggml_backend_rpc_set_tensor_async` ahora solo hashan transferencias para búferes marcados con `GGML_BACKEND_BUFFER_USAGE_WEIGHTS`.
Un nuevo byte `cache_flag` en el mensaje SET_TENSOR indica cuándo se debe guardar una entrada de caché, reemplazando la lógica anterior del estado pendiente del servidor.

Esta optimización evita que los datos de cómputo llenen el espacio en disco asegurando que solo los pesos se almacenen en caché a través de la ruta hash.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10984 añade soporte CUDA para SUM_ROWS contiguo por filas

El proyecto llama.cpp lanzó la versión b10984, introduciendo soporte CUDA para operaciones SUM_ROWS contiguas por filas. Esta actualización también organiza el código para incluir GGML_OP_MEAN para manejar tensores contiguos por filas mediante un kernel compartido.

github llama.cpp · hace 3 h · 2 vistas

llama.cpp b10981 corrige la decodificación con estado para Gemma-4 y optimiza la inferencia de MoE en GPU

La versión b10981 de llama.cpp aborda problemas críticos de corrección en la ruta de decodificación con estado del backend OpenVINO, corrigiendo específicamente el soporte para modelos como Gemma-4 que utilizan tamaños de cabeza por capa. También introduce optimizaciones para la inferencia de MoE (Mixture of Experts) en GPU y mejora el rendimiento mediante relayouts del estado KV.

github llama.cpp · hace 5 h · 1 vista

llama.cpp añade núcleos Metal FA para HSK=96, HSV=64 de MiniCPM3

El proyecto llama.cpp ha añadido soporte para el núcleo Flash Attention (FA) a la configuración específica utilizada por MiniCPM3 en Apple Silicon. Este cambio soluciona un fallo donde la bandera `-fa auto` se abortaba debido a una instanciación de núcleo faltante para la longitud de clave de atención 96 y longitud de valor 64.

github llama.cpp · hace 18 h · 3 vistas

La versión b10970 de llama.cpp utiliza acumulación fp32 en dispositivos MFMA

El proyecto llama.cpp ha lanzado la versión b10970, que incluye una actualización técnica al backend fattn-mma. Este cambio implementa el uso de acumuladores fp32 específicamente para dispositivos de arquitectura CDNA.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10956 añade selección de radix para k grande en top_k de SYCL

La versión b10956 de llama.cpp introduce un algoritmo de selección de radix para el backend SYCL con el fin de manejar valores grandes de k en la operación TOP_K, que anteriormente recurría a la CPU cuando k > 32. Este cambio permite el procesamiento residente en GPU para k grande mediante pasadas basadas en histogramas que mantienen el uso de memoria local compartida independiente de k.