github llama.cpp · hace 2 h

Corrección para el fallo en edit_file al añadir contenido al final del archivo

Se corrigió un fallo en la edición de archivos al añadir contenido al final, normalizando -1 a n (inserción al final) en lugar de n+1. El parche restringe -1 al modo de adición y lo rechaza para operaciones de reemplazo/eliminación con el fin de evitar la sobrescritura silenciosa de la última línea, y asegura que el desplazamiento de inserción se calcule como un entero para evitar un desbordamiento del búfer en el montón.

github llama.cpp · hace 2 h

llama.cpp lanza b9751: nuevos binarios y correcciones

llama.cpp publica la versión b9751 con binarios actualizados para macOS, Linux, Android, Windows y openEuler. La publicación incluye correcciones de uso de memoria y admite múltiples arquitecturas y opciones de aceleración de hardware como Vulkan, CUDA, OpenVINO y SYCL.

github llama.cpp · hace 2 h

llama.cpp libera b9752: refactorización del servidor y binarios multiplataforma

llama.cpp lanza la versión b9752 con una refactorización del servidor centrada en la construcción por lotes, que incluye un mejor manejo de los casos de lote completo y correcciones de errores. La liberación incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler, compatibles con varias arquitecturas y marcos de aceleración como CUDA, Vulkan, OpenVINO y SYCL.

github llama.cpp · hace 2 h

llama.cpp Release b9753: Nuevos Binarios e Informes de Progreso

La versión llama.cpp b9753 introduce informes de progreso mejorados para la carga de modelos de especificación, incluyendo una nueva lista de "etapas". El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración de hardware, como Vulkan, CUDA, OpenVINO y SYCL.

github llama.cpp · hace 2 h

llama.cpp libera b9754: nuevo analizador AC y binarios multiplataforma

La versión b9754 de llama.cpp introduce un analizador AC para una generación de gramática más estricta en el módulo common/peg. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler, compatibles con varias arquitecturas y tecnologías de aceleración como Vulkan, CUDA, OpenVINO y SYCL.

github llama.cpp · hace 2 h

Agregar dependencia de libandroid-spawn para la compilación en Android

La documentación de la compilación en Android se ha actualizado para incluir una dependencia de libandroid-spawn. Esta adición tiene como objetivo apoyar el proceso de compilación dentro del entorno especificado.

github llama.cpp · hace 2 h

llama.cpp lanza b9750: nueva declaración de llamada y binarios multiplataforma

La versión b9750 de llama.cpp introduce una implementación de la declaración de llamada y revierte un cambio no intencionado. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.

github llama.cpp · hace 2 h

llama.cpp lanza la versión b9748 con nuevos binarios y características

llama.cpp lanza la versión b9748, añadiendo un campo "verbose" a su esquema y proporcionando binarios para macOS, Linux, Android, Windows y openEuler. La versión incluye soporte para CPU, Vulkan, OpenVINO, SYCL y ROCm en múltiples arquitecturas, con compilaciones de CUDA y Vulkan disponibles para iOS y Windows.

github llama.cpp · hace 2 h

llama.cpp versión b9747 añade seguimiento en tiempo real de la carga del modelo y nuevos binarios para plataformas

llama.cpp versión b9747 introduce el seguimiento en tiempo real del progreso de carga del modelo a través de puntos finales SSE. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler, compatibles con varias arquitecturas y tecnologías de aceleración como Vulkan, CUDA, OpenVINO y SYCL.

github llama.cpp · hace 2 h

llama.cpp versión b9745 añade soporte para MTP3 y binarios multiplataforma

La versión b9745 de llama.cpp introduce soporte para MTP3 flash Step3.5/3.7, incluyendo nuevas APIs para los indicadores de desplazamiento de capa y nextn. El lanzamiento proporciona binarios precompilados para macOS, Linux, Android, Windows y openEuler, con opciones de aceleración para CPU, Vulkan, CUDA, OpenVINO y SYCL.

github llama.cpp · hace 3 h

LLaMA.cpp lanza b9744: nuevos binarios y características

LLaMA.cpp publica la versión b9744 con binarios actualizados para macOS, Linux, Android, Windows y openEuler. La publicación incluye soporte para múltiples arquitecturas y aceleradores de hardware como Vulkan, CUDA, OpenVINO, SYCL y ROCm. También está disponible un paquete de interfaz de usuario (UI) para acceder a la interfaz.

github llama.cpp · hace 3 h

llama.cpp lanza b9742: actualizado con paso relleno para pesos SSM-conv

La versión b9742 de llama.cpp introduce un paso relleno para los pesos SSM-conv, mejorando la eficiencia en las operaciones de redes neuronales. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y APIs que incluyen Vulkan, CUDA, OpenVINO y SYCL.

github SGLang · hace 3 h

v0.5.14

El artículo anuncia el lanzamiento de la versión 0.5.14.

github llama.cpp · hace 3 h

llama.cpp Release b9743 Adds New Binaries and GPU Support

La versión llama.cpp b9743 introduce nuevos binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas. La versión incluye soporte para Vulkan, CUDA 12.4 y 13.3, OpenVINO, SYCL y ROCm, con una interfaz de usuario actualizada y reglas de espaciado del analizador mejoradas mediante la alineación del esquema JSON con la gramática.

github llama.cpp · hace 3 h

llama.cpp Release b9741 Adds New Binaries and Support

llama.cpp versión b9741 introduce nuevos binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas. La versión incluye soporte para Vulkan, CUDA 12.4 y 13.3, OpenVINO, SYCL y ROCm, con versiones actualizadas para iOS y Ubuntu.

github llama.cpp · hace 3 h

Solución para fallos aleatorios de test-args-parser en Windows

Un parche aborda los fallos aleatorios en test-args-parser en Windows modificando la anulación de argv para que solo se aplique cuando argc coincida, evitando el sobrescritura de argumentos programáticos. Esto corrige una aserción fastfail en el flujo de trabajo de OpenVINO para Windows mientras se preserva el manejo de UTF-8 para binarios reales.

github llama.cpp · hace 3 h

La versión b9739 de LLaMA.cpp añade soporte para Adreno OpenCL en ARM64 de Windows

La versión b9739 de LLaMA.cpp añade soporte para ARM64 de Windows mediante OpenCL Adreno. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler a través de múltiples arquitecturas y APIs, incluyendo Vulkan, CUDA, OpenVINO y SYCL.

github llama.cpp · hace 3 h

llama.cpp libera b9738: corrige el reenvío del encabezado de autenticación CORS y nuevos binarios

La versión b9738 de llama.cpp corrige el proxy CORS para evitar el reenvío de los encabezados de autenticación. La liberación incluye compilaciones binarias para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.

github llama.cpp · hace 3 h

ggml optimiza AMX con aplanamiento de particiones

El proyecto ggml ha optimizado el rendimiento de AMX aplanando la partición sobre n_batch * M, asegurando que todos los hilos participen en la cuantización. Este cambio mejora la velocidad hasta 1.47x en diversos modelos y configuraciones de hardware en plataformas de CPU y GPU, con resultados que muestran ganancias consistentes en el tiempo de inferencia.

github llama.cpp · hace 3 h

Corrección del indexador DSA de GLM-5.2: tensores marcados como no requeridos

El indexador DSA del modelo GLM-5.2 se cargó incorrectamente en todas las capas, provocando fallos por tensores faltantes. La actualización marca los tensores del indexador como TENSOR_NOT_REQUIRED, permitiendo que las capas sin un indexador se carguen como nullptr y habilitando la atención MLA completa.