github llama.cpp · hace 1 h · inference

llama.cpp b10081 resuelve el repositorio de borrador a su sidecar solicitado

Traducido del English → Español

La versión llama.cpp b10081 corrige un error donde la bandera `--hfd` apuntaba a un repositorio que contenía sidecars especulativos, pero el plan de borrador se resolvía incorrectamente al modelo principal en lugar del sidecar. Esto ocurrió porque `find_best_model()` excluía archivos de sidecar y el plan de borrador explícito suprimía el descubrimiento de sidecars.

La corrección conecta los sidecars descubiertos como el borrador, siguiendo el patrón de respaldo del plan principal, permitiendo que comandos como `llama-server -hf repo -hfd repo --spec-type draft-dflash` funcionen como se esperaba.

Esta versión incluye binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10080 corrige el fallo del servidor y un error de validación de la UI

La versión llama.cpp b10080 aborda dos errores específicos en los componentes del servidor y la interfaz de usuario. El servidor ahora devuelve correctamente un código de estado 400 en lugar de fallar con un error 500 cuando la validación falla para solicitudes que contienen el encabezado X-Conversation-Id. Además, la UI ya no envía el marcador backend_sampling, lo que anteriormente provocaba que las completaciones con configuración predeterminada fallaran la validación.

arxiv arXiv cs.LG · hace 6 h

SkewAdam utiliza un estado de optimizador en niveles para reducir la memoria de entrenamiento MoE en un 97%

Los investigadores presentan SkewAdam, un optimizador diseñado para modelos de mezcla de expertos (MoE) que asigna diferentes tipos de estado a poblaciones de parámetros distintas para reducir drásticamente el uso de memoria. Al asignar momento float32 y momentos segundos factorizados al núcleo principal, momentos segundos factorizados a los expertos y momentos segundos exactos al enrutador, SkewAdam reduce el estado del optimizador de 50.6 GB a 1.29 GB para un modelo de 6.78B parámetros.

github llama.cpp · hace 8 h

llama.cpp b10078 refactoriza el manejo de colas de Vulkan para omitir el mutex del lado del host

El proyecto llama.cpp lanzó la compilación b10078, que incluye una refactorización significativa del backend de Vulkan para mejorar la eficiencia de sincronización. La actualización integra soporte para VK_KHR_internally_synchronized_queues, permitiendo a la biblioteca abstraer el envío de colas en una interfaz polimórfica que omite completamente el bloqueo del mutex del lado del host cuando el controlador lo admite.

github llama.cpp · hace 15 h

llama.cpp b10076 vectoriza get_rows con copia int4 para una aceleración del 27%

El proyecto llama.cpp lanzó la compilación b10076, que introduce una optimización de rendimiento en el backend CUDA al vectorizar la operación `get_rows` utilizando copias int4. Este cambio eleva el trabajo invariante a la fila fuera del bucle por elemento y añade una ruta vectorizada que copia 16 bytes por hilo para datos contiguos del mismo tipo.

media Hugging Face Forums · hace 2 d · 1 vista

Los agentes de voz en producción con LLMs locales enfrentan latencia persistente y límites de contexto

Un equipo que ejecuta dos agentes de voz en producción en España utilizando Retell AI, Ollama y modelos locales en una RTX 4000 Ada informa que, aunque la calidad de la conversación mejoró, el problema central de latencia sigue sin resolverse. La restricción principal es un tiempo de espera (~3 segundos) de Retell AI; si el LLM no logra producir un primer token dentro de esta ventana, la conexión se interrumpe, lo que lleva a la terminación de la llamada después de dos reconexiones.