github llama.cpp · hace 1 h · inference

llama.cpp b10249 añade la herramienta get_info al servidor

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10249, que introduce una nueva herramienta `get_info` en el componente del servidor. Esta actualización también incluye correcciones de documentación para la bandera `--rpc`.

El servidor ahora expone una herramienta `get_info` para recuperar información del sistema.
El manejo del resultado de la sonda se endureció para informar 'unknown' (desconocido) cuando el proceso falla o supera el tiempo de espera, evitando que el texto de diagnóstico se interprete erróneamente como un nombre de SO.
Se agregaron recorte de salida y límites de tiempo de espera para garantizar un manejo limpio de los datos.
El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) y openEuler.

Este lanzamiento hace que la herramienta `get_info` esté disponible para diagnósticos del lado del servidor mientras proporciona binarios actualizados en todas las plataformas compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

github llama.cpp · hace 2 h

llama.cpp b10247 corrige fallos con modelos MoE amplios mediante asignación dinámica

El proyecto llama.cpp lanzó la versión b10247, que aborda problemas de estabilidad al cargar grandes modelos Mixture of Experts (MoE) en configuraciones multi-backend. La actualización reemplaza los arrays de tamaño fijo en el programador del backend con búferes asignados dinámicamente para manejar divisiones de grafos que exceden 30 tensores de entrada.

github llama.cpp · hace 3 h

llama.cpp b10246 enruta grandes lm_head q6_K a GEMV plano

El proyecto llama.cpp lanzó la versión b10246, que incluye una corrección para el rendimiento de OpenCL en configuraciones específicas de modelos. La actualización aborda un problema donde la condición de dimensión original era insuficiente para manejar grandes pesos.

github llama.cpp · hace 8 h · 2 vistas

llama.cpp b10242 añade un muestreador de backend CUDA para penalizaciones

El proyecto llama.cpp lanzó la versión b10242, introduciendo un nuevo muestreador de backend para penalizaciones que permite descargar el manejo de penalizaciones a la GPU. Este cambio mejora la función `common_sampler_init` y actualiza la estructura `llama_sampler_penalties` para heredar de `llama_sampler_backend`, habilitando ajustes de frecuencia y presencia en el backend.

github llama.cpp · hace 11 h · 1 vista

llama.cpp b10241 corrige carreras de datos SMEM en block_reduce para CUDA

El proyecto llama.cpp lanzó la versión b10241, que aborda un error crítico en el backend de CUDA. La actualización resuelve las carreras de datos que ocurrían al reutilizar la memoria compartida (SMEM) durante las reducciones por bloques.

media Hugging Face Forums · hace 14 h · 1 vista

Quesma publica un mapa curado de 218 herramientas y artículos para la eficiencia del costo de tokens en LLM

Quesma ha lanzado una lista abierta y curada que contiene 218 entradas que rastrean dónde se gastan los tokens en flujos de trabajo de LLM y agentes. El recurso cubre monitoreo, caché semántico, modelos locales económicos, ingeniería de contexto y gobernanza de costos.