github llama.cpp · hace 3 h · inference

llama.cpp b10076 vectoriza get_rows con copia int4 para una aceleración del 27%

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10076, que introduce una optimización de rendimiento en el backend CUDA al vectorizar la operación `get_rows` utilizando copias int4. Este cambio eleva el trabajo invariante a la fila fuera del bucle por elemento y añade una ruta vectorizada que copia 16 bytes por hilo para datos contiguos del mismo tipo.

La implementación está condicionada en tiempo de compilación y ejecución, requiriendo alineación de 16 bytes y condiciones específicas de paso para garantizar la corrección. Un control de ocupación evita regresiones en recolecciones pequeñas de una sola fila manteniéndolas en la ruta escalar. En Strix Halo (gfx1151), esta optimización redujo la latencia de recolección del estado recurrente DeltaNet de 18.6us a 13.0us.

El lanzamiento incluye binarios para macOS, Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL y OpenCL.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

zhongkaifu lanza TensorSharp, un motor de inferencia LLM nativo para .NET destinado a modelos GGUF

zhongkaifu ha lanzado TensorSharp, un motor de inferencia local de LLM de código abierto construido completamente en C# que soporta Windows, macOS y Linux. El motor maneja modelos GGUF de Unsloth, incluyendo Gemma 4 y Qwen 3.6 con capacidades multimodales, mientras proporciona APIs compatibles con OpenAI y Ollama.

media Hugging Face Forums · hace 1 d · 1 vista

Los agentes de voz en producción con LLMs locales enfrentan latencia persistente y límites de contexto

Un equipo que ejecuta dos agentes de voz en producción en España utilizando Retell AI, Ollama y modelos locales en una RTX 4000 Ada informa que, aunque la calidad de la conversación mejoró, el problema central de latencia sigue sin resolverse. La restricción principal es un tiempo de espera (~3 segundos) de Retell AI; si el LLM no logra producir un primer token dentro de esta ventana, la conexión se interrumpe, lo que lleva a la terminación de la llamada después de dos reconexiones.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10069 añade soporte de difusión OpenCL para Adreno MUL_MAT

El proyecto llama.cpp lanzó la compilación b10069, que incluye actualizaciones específicas de OpenCL para GPUs Qualcomm Adreno. El cambio principal implica soportar operaciones de difusión para el kernel Adreno MUL_MAT y respetar los desplazamientos de vista para la variante Q8_0 MUL_MAT para habilitar la funcionalidad multi-stream en llama-server.

github llama.cpp · hace 3 d · 1 vista

llama.cpp b10068 rota la caché K/V inyectada para DFlash

El proyecto llama.cpp lanzó la versión b10068, que introduce un cambio en la implementación del modelo DFlash. La actualización modifica src/models/dflash.cpp para rotar la caché de clave/valor (K/V) inyectada cuando se usa cuantización K/V.

github llama.cpp · hace 3 d · 1 vista

llama.cpp b10067 excluye la tabla de enrutamiento de DeepSeek-V4 de la cuantización

El proyecto llama.cpp lanzó la versión b10067, que incluye una corrección para la herramienta `llama-quantize` para manejar correctamente los modelos DeepSeek-V4. La actualización evita que el cuantizador intente convertir el tensor `ffn_gate_tid2eid`, una tabla de índices de token a experto i32, en un tipo float.