github llama.cpp · hace 1 h · inference

llama.cpp b10331 corrige get_info del servidor para informar correctamente el directorio de trabajo aislado

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10331, que incluye una corrección para el endpoint `get_info` del servidor. Anteriormente, cuando no se proporcionaba un directorio de trabajo actual explícito, la función incorrectamente recurría al directorio de trabajo del proceso del servidor, incluso si estaba configurado un tools runtime.

El servidor ahora solicita al aislado su directorio de trabajo cuando está activo un tools runtime, asegurando que se informe la ruta correcta.
Conserva el directorio de trabajo del proceso solo cuando las herramientas se ejecutan directamente en el host.
Se eliminó un comentario redundante del código fuente.

Este cambio asegura que las rutas de ejecución de las herramientas se reflejen con precisión en las respuestas de información del servidor, evitando problemas donde las rutas del host nombradas no coincidían con el entorno real del aislado.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10330 fusiona rms_norm, mul y rope en CUDA

El proyecto llama.cpp ha lanzado la versión b10330, introduciendo una optimización de CUDA que fusiona las operaciones rms_norm, multiplicación y RoPE en un solo kernel. Este cambio viene acompañado de comprobaciones de rango de memoria para las operaciones fusionadas y nuevos casos de prueba para pesos de difusión.

github llama.cpp · hace 9 h · 1 vista

llama.cpp b10328 añade aislamiento inicial de herramientas del servidor mediante Docker

El proyecto llama.cpp ha lanzado la compilación b10328, que introduce soporte inicial para aislar herramientas dentro del componente del servidor utilizando Docker. Esta actualización incluye documentación y adaptaciones de código para separar las cajas de arena de E/S de las herramientas y renombrar las banderas de configuración relevantes.

github llama.cpp · hace 19 h · 1 vista

llama.cpp b10327 corrige el recuento de hilos/bloques en el kernel de copia cuantizada

El proyecto llama.cpp lanzó la versión b10327, que incluye una corrección para el recuento de hilos y bloques en los lanzamientos del kernel de copia cuantizada en CUDA. Esta actualización aborda un problema identificado en el pull request #26731.

github llama.cpp · hace 1 d

llama.cpp b10326 tiene en cuenta el paso del vocoder en los tiempos

El proyecto llama.cpp lanzó la compilación b10326, que modifica cómo se calculan las mediciones de tiempo al incluir el paso del vocoder.

github llama.cpp · hace 1 d

llama.cpp b10321 corrige NORM/RMS_NORM para longitudes de fila parciales de simdgroup

El proyecto llama.cpp lanzó la versión b10321, que incluye una corrección crítica para las operaciones GGML_OP_NORM y GGML_OP_RMS_NORM en Metal. La actualización resuelve un problema donde los threadgroups con tamaños que dejaban un grupo SIMD parcial resultaban en cálculos incorrectos de media y varianza debido a sumas parciales descartadas.