github llama.cpp · hace 1 h · inference

llama.cpp b10290 añade ggml_build_forward_order para corregir la ejecución del gráfico de audio

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10290, introduciendo una nueva función `ggml_build_forward_order` en la biblioteca ggml. Este cambio aborda un error en el gráfico de audio mtmd donde usar `ggml_build_forward_expand` como una pista de ordenamiento pura causaba que las ramas no seleccionadas se ejecutaran con entradas obsoletas.

El método anterior forzaba el cálculo en ramas no seleccionadas, lo que provocaba fallos de aserción de límites `get_rows` en CPU debido a datos `inp_code0` obsoletos.
La nueva función inserta nodos sin la bandera de cálculo, restaurándola solo cuando la rama está realmente seleccionada.
La compilación b10290 proporciona binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) y openEuler.
También se incluye un XCFramework para iOS y una compilación de UI independiente en el lanzamiento.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10289 endurece file_glob_search y corrige el manejo de rutas en Windows

La versión b10289 de llama.cpp endurece el recorrido del directorio file_glob_search del servidor para prevenir bucles infinitos en los enlaces simbólicos de Windows y mejora la notificación de errores para directorios no legibles.

media Hugging Face Forums · hace 6 h

QuantCheck advierte contra asumir que el checkpoint final es el mejor para cuantización de 4 bits

Una nueva herramienta llamada QuantCheck destaca que el checkpoint final del preentrenamiento puede no ser la opción óptima para la cuantización de 4 bits, ya que los benchmarks pueden permanecer planos mientras aumenta la fragilidad. El autor observó este patrón en Pythia-160m, donde el checkpoint final sufrió aproximadamente cuatro veces más daño a la calidad que un checkpoint anterior de igual calidad.

github llama.cpp · hace 11 h

llama.cpp b10285 añade agrupamiento de múltiples filas para deepseek-ocr

El proyecto llama.cpp ha lanzado la compilación b10285, que introduce soporte para el agrupamiento de múltiples filas en el módulo mtmd específicamente para modelos deepseek-ocr. Esta actualización permite al sistema entrelazar las filas de deepseek-ocr en una sola operación en lugar de procesarlas individualmente.

github llama.cpp · hace 13 h

llama.cpp b10282 añade contadores de spec-decode al endpoint /metrics

El proyecto llama.cpp ha lanzado la versión b10282, que introduce nuevas capacidades de monitoreo para la decodificación especulativa. El servidor ahora incluye contadores de spec-decode en su endpoint /metrics, permitiendo a los usuarios rastrear las métricas de rendimiento relacionadas con esta función.

github llama.cpp · hace 1 d

llama.cpp b10275 decodifica la salida OEM de Windows a UTF-8 en herramientas integradas

El proyecto llama.cpp lanzó la compilación b10275, que corrige un problema de codificación de caracteres en Windows donde los caracteres acentuados se perdían silenciosamente. La actualización asegura que el texto de procesos hijos que escriben en la página de códigos OEM se decodifique correctamente a UTF-8 antes de llegar a la capa JSON.