github llama.cpp · hace 1 h · inference

llama.cpp b10148 corrige la resolución del sidecar y la verbosidad de los registros

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10148, abordando problemas con la configuración de decodificación especulativa y el registro. La actualización asegura que los argumentos explícitos de línea de comandos para modelos borrador tengan prioridad sobre la resolución automática del sidecar.

Las banderas --model-draft explícitas ahora desactivan la resolución automática del sidecar, permitiendo que la configuración manual de CLI anule el comportamiento predeterminado.
La lógica de selección del sidecar se actualizó para anclarse en la etiqueta del modelo principal, habilitando coincidencias exactas o retrocesos a la cuantización más cercana.
Los registros de carga especulativa se elevaron de nivel trace a info, haciendo que la visibilidad del contexto del modelo borrador y MTP sea consistente con otros registros del sistema.

Estos cambios mejoran la fiabilidad para los usuarios que dependen de especificaciones manuales de modelos borrador y proporcionan un registro operativo más claro.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

media Hugging Face Forums · ahora mismo En vivo

TraceML añade un callback de Hugging Face Trainer para diagnosticar cuellos de botella en la carga de datos

El autor ha integrado una herramienta de diagnóstico en TraceML, un proyecto de observabilidad de PyTorch de código abierto, para ayudar a los usuarios a distinguir entre problemas de rendimiento de entrenamiento limitados por la GPU y por la entrada. Esta nueva función permite a los desarrolladores identificar rápidamente si la baja utilización de la GPU se debe a una carga lenta de datos o a límites reales de cómputo del modelo.

github llama.cpp · hace 2 h · 1 vista

Aaron Teo añade el argumento -lm mlock a llama.cpp

Aaron Teo ha enviado un cambio al repositorio de llama.cpp que introduce un nuevo argumento de línea de comandos `-lm mlock`. Esta adición permite a los usuarios bloquear explícitamente la memoria en las regiones donde el código realiza operaciones `mlock` pero no utiliza `mmap`.

github llama.cpp · hace 6 h · 2 vistas

llama.cpp b10144 corrige las rutas de transmisión para nombres de modelo con barras

La versión b10144 de llama.cpp aborda problemas críticos en el servidor y la interfaz de usuario relacionados con las transmisiones reanudables, corrigiendo específicamente el manejo de nombres de modelo que contienen barras. También resuelve errores donde las solicitudes no se cancelaban o reanudaban correctamente durante la carga del modelo.

github llama.cpp · hace 11 h

llama.cpp b10142 añade soporte preliminar para visión de MiniMax-M3

El proyecto llama.cpp lanzó la compilación b10142, que introduce soporte preliminar para visión del modelo MiniMax-M3. Esta actualización implementa un puerto solo de texto que reutiliza componentes existentes de MiniMax-M2, incluyendo GQA con QK-norm por cabeza y rotativo parcial, expertos al estilo DeepSeek-V3 y activación swigluoai.

github llama.cpp · hace 3 d · 1 vista

llama.cpp b10107 corrige un fallo en Windows y proporciona binarios para múltiples plataformas

El proyecto llama.cpp ha lanzado la versión b10107, que incluye una corrección para un fallo en Windows que ocurría cuando se habilitaba la función op_poll.