github llama.cpp · hace 2 h · inference

llama.cpp b10078 refactoriza el manejo de colas de Vulkan para omitir el mutex del lado del host

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10078, que incluye una refactorización significativa del backend de Vulkan para mejorar la eficiencia de sincronización. La actualización integra soporte para VK_KHR_internally_synchronized_queues, permitiendo a la biblioteca abstraer el envío de colas en una interfaz polimórfica que omite completamente el bloqueo del mutex del lado del host cuando el controlador lo admite.

Refactoriza vk_queue para usar mutexes por instancia y manejadores únicos para propiedad exclusiva.
Integra VK_KHR_internally_synchronized_queues para omitir el bloqueo del mutex del lado del host cuando es soportado por el controlador.
Añade definiciones de respaldo y constantes static constexpr para la detección de internallySynchronizedQueues.
Corrige errores de compilación, cadenas pNext duplicadas y comprobaciones nulas en el destructor vk_device_struct.

Este cambio optimiza la gestión del ciclo de vida y la seguridad de hilos mientras reduce llamadas API redundantes durante la creación del dispositivo.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

github llama.cpp · hace 8 h

llama.cpp b10076 vectoriza get_rows con copia int4 para una aceleración del 27%

El proyecto llama.cpp lanzó la compilación b10076, que introduce una optimización de rendimiento en el backend CUDA al vectorizar la operación `get_rows` utilizando copias int4. Este cambio eleva el trabajo invariante a la fila fuera del bucle por elemento y añade una ruta vectorizada que copia 16 bytes por hilo para datos contiguos del mismo tipo.

media Hugging Face Forums · hace 2 d · 1 vista

Los agentes de voz en producción con LLMs locales enfrentan latencia persistente y límites de contexto

Un equipo que ejecuta dos agentes de voz en producción en España utilizando Retell AI, Ollama y modelos locales en una RTX 4000 Ada informa que, aunque la calidad de la conversación mejoró, el problema central de latencia sigue sin resolverse. La restricción principal es un tiempo de espera (~3 segundos) de Retell AI; si el LLM no logra producir un primer token dentro de esta ventana, la conexión se interrumpe, lo que lleva a la terminación de la llamada después de dos reconexiones.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10069 añade soporte de difusión OpenCL para Adreno MUL_MAT

El proyecto llama.cpp lanzó la compilación b10069, que incluye actualizaciones específicas de OpenCL para GPUs Qualcomm Adreno. El cambio principal implica soportar operaciones de difusión para el kernel Adreno MUL_MAT y respetar los desplazamientos de vista para la variante Q8_0 MUL_MAT para habilitar la funcionalidad multi-stream en llama-server.

media Hugging Face Forums · hace 3 d · 2 vistas

zhongkaifu lanza TensorSharp, un motor de inferencia LLM nativo para .NET destinado a modelos GGUF

zhongkaifu ha lanzado TensorSharp, un motor de inferencia local de LLM de código abierto construido completamente en C# que soporta Windows, macOS y Linux. El motor maneja modelos GGUF de Unsloth, incluyendo Gemma 4 y Qwen 3.6 con capacidades multimodales, mientras proporciona APIs compatibles con OpenAI y Ollama.

github llama.cpp · hace 3 d · 1 vista

llama.cpp b10068 rota la caché K/V inyectada para DFlash

El proyecto llama.cpp lanzó la versión b10068, que introduce un cambio en la implementación del modelo DFlash. La actualización modifica src/models/dflash.cpp para rotar la caché de clave/valor (K/V) inyectada cuando se usa cuantización K/V.