Se ha lanzado un nuevo proyecto llamado vLLM Launcher como una aplicación de escritorio para Windows diseñada para gestionar la inferencia de modelos de lenguaje grandes locales a través de WSL2. Esta herramienta permite a los usuarios controlar múltiples backends de motores, incluyendo vLLM, SGLang y llama.cpp, desde una única interfaz gráfica.
El proyecto llama.cpp ha lanzado la versión b10330, introduciendo una optimización de CUDA que fusiona las operaciones rms_norm, multiplicación y RoPE en un solo kernel. Este cambio viene acompañado de comprobaciones de rango de memoria para las operaciones fusionadas y nuevos casos de prueba para pesos de difusión.
El proyecto llama.cpp ha lanzado la compilación b10328, que introduce soporte inicial para aislar herramientas dentro del componente del servidor utilizando Docker. Esta actualización incluye documentación y adaptaciones de código para separar las cajas de arena de E/S de las herramientas y renombrar las banderas de configuración relevantes.
El servidor y la UI de llama.cpp se han actualizado para mostrar condicionalmente el control del directorio de trabajo. Anteriormente, este elemento aparecía siempre que se exponía cualquier herramienta integrada, incluso si ninguna herramienta realmente lo usaba.
El proyecto llama.cpp lanzó la versión b10327, que incluye una corrección para el recuento de hilos y bloques en los lanzamientos del kernel de copia cuantizada en CUDA. Esta actualización aborda un problema identificado en el pull request #26731.
El proyecto llama.cpp ha lanzado la versión b10313, que introduce un programador de Uso Reciente Menos (LRU) para su componente de servidor. Esta actualización incluye manejo de coalescencia de solicitudes y correcciones para casos de transmisión.
El proyecto llama.cpp ha liberado la versión b10312, que incluye una actualización específica al componente del servidor. El cambio clave aborda un problema en el que los modelos ocupados estaban siendo expulsados del enrutador.
El proyecto llama.cpp lanzó la versión b10307, que incluye una corrección para el código GPU de SYCL que permite analizar correctamente los factores de escala UE4M3 utilizados en la cuantización NVFP4.
El proyecto llama.cpp ha lanzado la compilación b10298, que introduce una nueva función de guardado y carga de fragmentos para el módulo mtmd. Esta actualización también incluye limpieza de código y pruebas adicionales.
El proyecto llama.cpp ha lanzado la versión b10282, que introduce nuevas capacidades de monitoreo para la decodificación especulativa. El servidor ahora incluye contadores de spec-decode en su endpoint /metrics, permitiendo a los usuarios rastrear las métricas de rendimiento relacionadas con esta función.
La versión llama.cpp b10271 introduce una característica de directorio de trabajo por conversación en la UI, permitiendo a los usuarios establecer y navegar por directorios de forma independiente para cada sesión de chat.
El proyecto llama.cpp lanzó la versión b10270, introduciendo soporte para el modelo Qwen3-TTS. Esta actualización incluye un cambio disruptivo en el binario llama-tts e implementa modificaciones arquitectónicas significativas para manejar el nuevo flujo de trabajo de texto a voz.
El proyecto llama.cpp ha lanzado la compilación b10259, que introduce la capacidad de permitir el reordenamiento de tensores durante el proceso de carga.
El proyecto llama.cpp lanzó la versión b10254, introduciendo una nueva plantilla de chat para el modelo DeepSeek V4 Flash 0731 junto con actualizaciones a las plantillas existentes de DeepSeek V4.
El proyecto llama.cpp ha lanzado la compilación b10251, que introduce soporte de Predicción Multi-Tokens (MTP) para el modelo GLM-4.7-Flash.
El proyecto llama.cpp lanzó la compilación b10238, que introduce soporte para Multi-Token Prediction (MTP) en la familia de modelos Qwen3-Next. Esta actualización incluye cambios específicos de implementación para manejar capas MTP y correcciones relacionadas con la verificación de tipos de Python dentro del código base.
El proyecto llama.cpp lanzó la compilación b10237, que introduce soporte para Predicción de Múltiples Tókenes (MTP) para el modelo DeepSeek V3.2.
El proyecto llama.cpp lanzó la compilación b10232, que introduce soporte para las hiperconexiones de DeepSeek V4 a través del backend de Metal. Esta actualización añade la implementación de las operaciones GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE y GGML_OP_DSV4_HC_POST.
El proyecto llama.cpp lanzó la versión b10219, que incluye una corrección para la CLI que permite persistir el contenido del razonamiento dentro del historial de chat. Anteriormente, aunque `llama-cli` recopilaba el razonamiento del stream para su visualización, solo almacenaba el contenido del asistente en los mensajes, lo que impedía que la bandera `--reasoning-preserve` reinyectara los pensamientos previos en turnos posteriores.
El proyecto llama.cpp ha lanzado la versión b10213, introduciendo soporte para la cuantización del caché de clave-valor rotado. Esta actualización está disponible en una amplia gama de plataformas y aceleradores de hardware.