github llama.cpp · hace 1 h · inference

ggml-org lanza llama.cpp b10774 con corrección de caché KV para ajuste fino

Traducido del English → Español

El proyecto ggml-org ha lanzado la versión b10774 de llama.cpp, que incluye una corrección para el problema de falta de caché KV en el módulo de ajuste fino.

El componente de entrenamiento ahora maneja correctamente el uso del caché KV durante las operaciones de ajuste fino.
Se proporcionan binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu con CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) y openEuler.
También se incluyen en los activos del lanzamiento un XCFramework para iOS y un paquete de interfaz de usuario independiente.

Esta actualización asegura que los flujos de trabajo de ajuste fino funcionen correctamente al abordar el manejo previamente roto del caché de clave-valor.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10763 habilita preserve_reasoning por defecto

El proyecto llama.cpp lanzó la compilación b10763, que cambia el comportamiento predeterminado del argumento de palabra clave `preserve_reasoning` de la plantilla de chat. El servidor ahora registra el estado efectivo de este kwarg y emite una advertencia cuando está habilitado por defecto en plantillas que lo admiten.

github llama.cpp · hace 16 h · 1 vista

llama.cpp b10760 corrige la estabilidad de inferencia de Qwen3-tts-0.6b

El proyecto llama.cpp lanzó la compilación b10760, que incluye correcciones específicas para el modelo Qwen3-tts-0.6B para prevenir inestabilidad numérica durante la inferencia.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b10751 fusiona la reducción de expertos ponderados de MoE para CUDA

El proyecto llama.cpp lanzó la versión b10751, que introduce un núcleo fusionado para la reducción de expertos ponderados de MoE (Mixture of Experts) en CUDA. Esta optimización reemplaza la línea base anterior que ejecutaba dos núcleos físicos con un único núcleo de reducción ponderada para reducir el tráfico intermedio de memoria global.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b10750 optimiza la búsqueda de n-gramas en el caché KV para un aumento del 4,9 % en el rendimiento

El proyecto llama.cpp lanzó la compilación b10750, que reestructura la gestión de las celdas de clave y valor para mejorar la indexación de la posición de la secuencia y las búsquedas del historial de n-gramas.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b10742 añade ajustes fa-vec para A18 Pro

El proyecto llama.cpp ha lanzado la versión b10742, que incluye una nueva función que añade ajustes de vector rápido (fa-vec) específicamente para el chip Apple A18 Pro encontrado en el MacBook Neo.