github llama.cpp · hace 1 h · inference

llama.cpp b10105 refactoriza mlock/mmap/directio en un único argumento de modo de carga

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10105, que introduce una refactorización significativa de la interfaz de línea de comandos al consolidar las banderas de gestión de memoria separadas en un único argumento `load-mode`.

Reestructura los ajustes de mmap, mlock y E/S directa en un solo argumento para simplificar la configuración.
Corrige errores donde el comportamiento de las variables era incorrecto y mlock no se activaba como se esperaba.
Actualiza llama-bench para sincronizar el análisis de argumentos y corregir problemas de tamaño de columnas.
Añade advertencias de obsolescencia cuando se combinan banderas antiguas y nuevas para guiar a los usuarios durante la transición.
Incluye limpieza general del código, actualizaciones de documentación mediante llama-gen-docs y correcciones para el soporte de banderas obsoletas.

Este lanzamiento ayuda a los usuarios al simplificar las opciones de configuración de memoria y asegurar que funciones críticas como mlock funcionen correctamente en las plataformas compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

github llama.cpp · hace 12 h

llama.cpp b10099 mejora la cuantización NVFP4 W4A4 en CUDA

El proyecto llama.cpp lanzó la versión b10099, que incluye una actualización significativa del backend de CUDA para mejorar la cuantización de activaciones NVFP4 W4A4.

github llama.cpp · hace 14 h

llama.cpp b10098 actualiza las operaciones de activación Hexagon

El proyecto llama.cpp lanzó la versión b10098, que incluye una actualización a las operaciones de activación Hexagon. Esta versión proporciona binarios para macOS, Linux, Android, Windows y openEuler en varios backends de CPU y GPU.

media Together AI Blog · hace 16 h

Together lanza Inferencia de Modelo Dedicado con beta de entrenamiento personalizado

Together ha lanzado una actualización significativa para su plataforma de inferencia, presentando "Inferencia de Modelo Dedicada" diseñada para dar a los usuarios control total sobre el rendimiento, el costo y la calidad de los modelos de peso abierto. La actualización también anuncia una beta cerrada para capacidades de entrenamiento personalizado, incluyendo refuerzo con pesos completos y LoRA.

github llama.cpp · hace 16 h

llama.cpp b10094 infiere el tipo especulativo desde los sidecars del repositorio de borrador

El proyecto llama.cpp lanzó la versión b10094, introduciendo una función que detecta automáticamente el tipo de decodificación especulativa a partir de los sidecars del repositorio de borrador. Anteriormente, al usar la bandera `-hfd` para apuntar a un repositorio que contiene sidecars mtp-, dflash- o eagle3- sin proporcionar explícitamente `--spec-type`, el sistema resolvía incorrectamente el borrador como un modelo completo.

github llama.cpp · hace 18 h

llama.cpp b10093 corrige la plantilla de DeepSeek v4 y añade el indicador drop_reasoning

El proyecto llama.cpp ha lanzado la compilación b10093, que incluye actualizaciones específicas para admitir los modelos DeepSeek v4. El lanzamiento aborda el manejo de plantillas e introduce nuevos indicadores de configuración para esta familia de modelos.