llama.cpp lanza la versión b9752 con una refactorización del servidor centrada en la construcción por lotes, que incluye un mejor manejo de los casos de lote completo y correcciones de errores. La liberación incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler, compatibles con varias arquitecturas y marcos de aceleración como CUDA, Vulkan, OpenVINO y SYCL.
La versión llama.cpp b9753 introduce informes de progreso mejorados para la carga de modelos de especificación, incluyendo una nueva lista de "etapas". El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración de hardware, como Vulkan, CUDA, OpenVINO y SYCL.
La versión b9754 de llama.cpp introduce un analizador AC para una generación de gramática más estricta en el módulo common/peg. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler, compatibles con varias arquitecturas y tecnologías de aceleración como Vulkan, CUDA, OpenVINO y SYCL.
La documentación de la compilación en Android se ha actualizado para incluir una dependencia de libandroid-spawn. Esta adición tiene como objetivo apoyar el proceso de compilación dentro del entorno especificado.
La versión b9750 de llama.cpp introduce una implementación de la declaración de llamada y revierte un cambio no intencionado. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
llama.cpp lanza la versión b9748, añadiendo un campo "verbose" a su esquema y proporcionando binarios para macOS, Linux, Android, Windows y openEuler. La versión incluye soporte para CPU, Vulkan, OpenVINO, SYCL y ROCm en múltiples arquitecturas, con compilaciones de CUDA y Vulkan disponibles para iOS y Windows.
llama.cpp versión b9747 introduce el seguimiento en tiempo real del progreso de carga del modelo a través de puntos finales SSE. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler, compatibles con varias arquitecturas y tecnologías de aceleración como Vulkan, CUDA, OpenVINO y SYCL.
La versión b9745 de llama.cpp introduce soporte para MTP3 flash Step3.5/3.7, incluyendo nuevas APIs para los indicadores de desplazamiento de capa y nextn. El lanzamiento proporciona binarios precompilados para macOS, Linux, Android, Windows y openEuler, con opciones de aceleración para CPU, Vulkan, CUDA, OpenVINO y SYCL.
LLaMA.cpp publica la versión b9744 con binarios actualizados para macOS, Linux, Android, Windows y openEuler. La publicación incluye soporte para múltiples arquitecturas y aceleradores de hardware como Vulkan, CUDA, OpenVINO, SYCL y ROCm. También está disponible un paquete de interfaz de usuario (UI) para acceder a la interfaz.
La versión b9742 de llama.cpp introduce un paso relleno para los pesos SSM-conv, mejorando la eficiencia en las operaciones de redes neuronales. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y APIs que incluyen Vulkan, CUDA, OpenVINO y SYCL.
El artículo anuncia el lanzamiento de la versión 0.5.14.
La versión llama.cpp b9743 introduce nuevos binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas. La versión incluye soporte para Vulkan, CUDA 12.4 y 13.3, OpenVINO, SYCL y ROCm, con una interfaz de usuario actualizada y reglas de espaciado del analizador mejoradas mediante la alineación del esquema JSON con la gramática.
llama.cpp versión b9741 introduce nuevos binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas. La versión incluye soporte para Vulkan, CUDA 12.4 y 13.3, OpenVINO, SYCL y ROCm, con versiones actualizadas para iOS y Ubuntu.
Un parche aborda los fallos aleatorios en test-args-parser en Windows modificando la anulación de argv para que solo se aplique cuando argc coincida, evitando el sobrescritura de argumentos programáticos. Esto corrige una aserción fastfail en el flujo de trabajo de OpenVINO para Windows mientras se preserva el manejo de UTF-8 para binarios reales.
La versión b9739 de LLaMA.cpp añade soporte para ARM64 de Windows mediante OpenCL Adreno. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler a través de múltiples arquitecturas y APIs, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
La versión b9738 de llama.cpp corrige el proxy CORS para evitar el reenvío de los encabezados de autenticación. La liberación incluye compilaciones binarias para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
El proyecto ggml ha optimizado el rendimiento de AMX aplanando la partición sobre n_batch * M, asegurando que todos los hilos participen en la cuantización. Este cambio mejora la velocidad hasta 1.47x en diversos modelos y configuraciones de hardware en plataformas de CPU y GPU, con resultados que muestran ganancias consistentes en el tiempo de inferencia.
El indexador DSA del modelo GLM-5.2 se cargó incorrectamente en todas las capas, provocando fallos por tensores faltantes. La actualización marca los tensores del indexador como TENSOR_NOT_REQUIRED, permitiendo que las capas sin un indexador se carguen como nullptr y habilitando la atención MLA completa.
Se ha enviado una solicitud de extracción para agregar una interfaz web precompilada para la arquitectura s390x en Docker. El cambio está actualmente pendiente de lanzamiento y aún no se ha publicado.
LLaMA.cpp publica la versión b9732 con binarios actualizados para macOS, Linux, Android, Windows y openEuler. La publicación incluye comunicación refactorizada entre hijo y enrutador, correcciones al manejo de despertar, mejoras en update_status() y documentación.