Se ha lanzado un nuevo proyecto llamado vLLM Launcher como una aplicación de escritorio para Windows diseñada para gestionar la inferencia de modelos de lenguaje grandes locales a través de WSL2. Esta herramienta permite a los usuarios controlar múltiples backends de motores, incluyendo vLLM, SGLang y llama.cpp, desde una única interfaz gráfica.
El proyecto llama.cpp lanzó la compilación b10331, que incluye una corrección para el endpoint `get_info` del servidor. Anteriormente, cuando no se proporcionaba un directorio de trabajo actual explícito, la función incorrectamente recurría al directorio de trabajo del proceso del servidor, incluso si estaba configurado un tools runtime.
El proyecto llama.cpp ha lanzado la versión b10330, introduciendo una optimización de CUDA que fusiona las operaciones rms_norm, multiplicación y RoPE en un solo kernel. Este cambio viene acompañado de comprobaciones de rango de memoria para las operaciones fusionadas y nuevos casos de prueba para pesos de difusión.
El proyecto llama.cpp ha lanzado la compilación b10328, que introduce soporte inicial para aislar herramientas dentro del componente del servidor utilizando Docker. Esta actualización incluye documentación y adaptaciones de código para separar las cajas de arena de E/S de las herramientas y renombrar las banderas de configuración relevantes.
El proyecto llama.cpp lanzó la versión b10327, que incluye una corrección para el recuento de hilos y bloques en los lanzamientos del kernel de copia cuantizada en CUDA. Esta actualización aborda un problema identificado en el pull request #26731.
El proyecto llama.cpp lanzó la compilación b10326, que modifica cómo se calculan las mediciones de tiempo al incluir el paso del vocoder.
El proyecto llama.cpp lanzó la versión b10321, que incluye una corrección crítica para las operaciones GGML_OP_NORM y GGML_OP_RMS_NORM en Metal. La actualización resuelve un problema donde los threadgroups con tamaños que dejaban un grupo SIMD parcial resultaban en cálculos incorrectos de media y varianza debido a sumas parciales descartadas.
El proyecto llama.cpp lanzó la compilación b10322, que incluye una optimización de rendimiento que coalesce las cargas de ventanas SSM_CONV en el backend SYCL.
El proyecto llama.cpp ha lanzado la versión b10313, que introduce un programador de Uso Reciente Menos (LRU) para su componente de servidor. Esta actualización incluye manejo de coalescencia de solicitudes y correcciones para casos de transmisión.
El proyecto llama.cpp lanzó la compilación b10311, que incluye una corrección para la tubería Qwen3-TTS. La actualización resuelve un problema donde el modelo leía dos veces la enunciación de entrada durante la generación.
El proyecto llama.cpp ha liberado la versión b10312, que incluye una actualización específica al componente del servidor. El cambio clave aborda un problema en el que los modelos ocupados estaban siendo expulsados del enrutador.
El proyecto llama.cpp lanzó la versión b10307, que incluye una corrección para el código GPU de SYCL que permite analizar correctamente los factores de escala UE4M3 utilizados en la cuantización NVFP4.
El proyecto llama.cpp ha lanzado la compilación b10305, que introduce soporte para operaciones específicas de DSv4 dentro del backend SYCL. Esta actualización incluye la implementación de los operadores LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST y DSV4_HC_PRE.
La versión b10306 de llama.cpp introduce optimizaciones de rendimiento para el backend SYCL, específicamente dirigidas a las operaciones de Unidad Lineal con Puerta (GLU). La actualización añade una ruta rápida contigua para las operaciones GLU fusionadas y consolida kernels previamente distintos para compartir un lanzador común.
El proyecto llama.cpp ha lanzado la compilación b10298, que introduce una nueva función de guardado y carga de fragmentos para el módulo mtmd. Esta actualización también incluye limpieza de código y pruebas adicionales.
El proyecto llama.cpp lanzó la compilación b10293, que incluye la integración continua de AMD ROCm para la arquitectura gfx1151 y resuelve problemas de corrección en GPUs integradas con RDNA3.5.
El proyecto llama.cpp ha lanzado la versión b10291, que incluye correcciones críticas para el backend de Vulkan junto con actualizaciones estándar de la plataforma. Los cambios técnicos principales abordan problemas del tamaño del lote de envío e introducen nuevas capacidades de diagnóstico para errores del controlador.
El proyecto llama.cpp lanzó la compilación b10290, introduciendo una nueva función `ggml_build_forward_order` en la biblioteca ggml. Este cambio aborda un error en el gráfico de audio mtmd donde usar `ggml_build_forward_expand` como una pista de ordenamiento pura causaba que las ramas no seleccionadas se ejecutaran con entradas obsoletas.
La versión b10289 de llama.cpp endurece el recorrido del directorio file_glob_search del servidor para prevenir bucles infinitos en los enlaces simbólicos de Windows y mejora la notificación de errores para directorios no legibles.
Una nueva herramienta llamada QuantCheck destaca que el checkpoint final del preentrenamiento puede no ser la opción óptima para la cuantización de 4 bits, ya que los benchmarks pueden permanecer planos mientras aumenta la fragilidad. El autor observó este patrón en Pythia-160m, donde el checkpoint final sufrió aproximadamente cuatro veces más daño a la calidad que un checkpoint anterior de igual calidad.