llama.cpp versión b9747 introduce el seguimiento en tiempo real del progreso de carga del modelo a través de puntos finales SSE. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler, compatibles con varias arquitecturas y tecnologías de aceleración como Vulkan, CUDA, OpenVINO y SYCL.
La versión b9745 de llama.cpp introduce soporte para MTP3 flash Step3.5/3.7, incluyendo nuevas APIs para los indicadores de desplazamiento de capa y nextn. El lanzamiento proporciona binarios precompilados para macOS, Linux, Android, Windows y openEuler, con opciones de aceleración para CPU, Vulkan, CUDA, OpenVINO y SYCL.
LLaMA.cpp publica la versión b9744 con binarios actualizados para macOS, Linux, Android, Windows y openEuler. La publicación incluye soporte para múltiples arquitecturas y aceleradores de hardware como Vulkan, CUDA, OpenVINO, SYCL y ROCm. También está disponible un paquete de interfaz de usuario (UI) para acceder a la interfaz.
La versión b9742 de llama.cpp introduce un paso relleno para los pesos SSM-conv, mejorando la eficiencia en las operaciones de redes neuronales. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y APIs que incluyen Vulkan, CUDA, OpenVINO y SYCL.
El artículo anuncia el lanzamiento de la versión 0.5.14.
La versión llama.cpp b9743 introduce nuevos binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas. La versión incluye soporte para Vulkan, CUDA 12.4 y 13.3, OpenVINO, SYCL y ROCm, con una interfaz de usuario actualizada y reglas de espaciado del analizador mejoradas mediante la alineación del esquema JSON con la gramática.
llama.cpp versión b9741 introduce nuevos binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas. La versión incluye soporte para Vulkan, CUDA 12.4 y 13.3, OpenVINO, SYCL y ROCm, con versiones actualizadas para iOS y Ubuntu.
Un parche aborda los fallos aleatorios en test-args-parser en Windows modificando la anulación de argv para que solo se aplique cuando argc coincida, evitando el sobrescritura de argumentos programáticos. Esto corrige una aserción fastfail en el flujo de trabajo de OpenVINO para Windows mientras se preserva el manejo de UTF-8 para binarios reales.
La versión b9739 de LLaMA.cpp añade soporte para ARM64 de Windows mediante OpenCL Adreno. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler a través de múltiples arquitecturas y APIs, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
La versión b9738 de llama.cpp corrige el proxy CORS para evitar el reenvío de los encabezados de autenticación. La liberación incluye compilaciones binarias para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
El proyecto ggml ha optimizado el rendimiento de AMX aplanando la partición sobre n_batch * M, asegurando que todos los hilos participen en la cuantización. Este cambio mejora la velocidad hasta 1.47x en diversos modelos y configuraciones de hardware en plataformas de CPU y GPU, con resultados que muestran ganancias consistentes en el tiempo de inferencia.
El indexador DSA del modelo GLM-5.2 se cargó incorrectamente en todas las capas, provocando fallos por tensores faltantes. La actualización marca los tensores del indexador como TENSOR_NOT_REQUIRED, permitiendo que las capas sin un indexador se carguen como nullptr y habilitando la atención MLA completa.
Se ha enviado una solicitud de extracción para agregar una interfaz web precompilada para la arquitectura s390x en Docker. El cambio está actualmente pendiente de lanzamiento y aún no se ha publicado.
LLaMA.cpp publica la versión b9732 con binarios actualizados para macOS, Linux, Android, Windows y openEuler. La publicación incluye comunicación refactorizada entre hijo y enrutador, correcciones al manejo de despertar, mejoras en update_status() y documentación.
El proyecto ggml-webgpu ha añadido interruptores de adaptador para el soporte de precisión media (F16) en GPUs Vulkan y NVIDIA. Esta actualización permite un mejor rendimiento en hardware compatible a través de múltiples plataformas, incluyendo macOS, Linux, Android, Windows y openEuler, con compilaciones específicas disponibles para las arquitecturas ARM y x64.
La versión b9730 de llama.cpp incluye correcciones para el manejo de UTF-8 en Windows y mejoras en ggml_fopen y la CLI. El lanzamiento proporciona binarios para macOS, Linux, Android, Windows y openEuler a través de múltiples arquitecturas y opciones de aceleración de hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
La versión b9731 de llama.cpp introduce una optimización que utiliza std::partial_sort para reducir la sobrecarga del ordenamiento de tokens, mejorando el rendimiento de 8.555ms a 0.704ms para la selección de top-n tokens. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware.
LLaMA.cpp publica la versión b9729 con binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas. La publicación incluye soporte para CPU, Vulkan, OpenVINO, SYCL y ROCm, junto con un nuevo paquete de interfaz de usuario. Se han eliminado las referencias internas a 'webui'.
La versión b9728 de LLaMA.cpp introduce soporte para líneas de comentario en la configuración --api-key-file. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler a través de múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
La versión b9726 de llama.cpp introduce un nuevo argumento --agent y elimina la compatibilidad redundante con la nomenclatura de webui. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware.