github llama.cpp · hace 3 d · inference

llama.cpp b10934 implementa common_schema para esquemas JSON

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10934, que introduce la implementación de una representación interna `common_schema` para esquemas JSON. Esta actualización incluye la creación de tipos `common_schema` y un optimizador de esquemas JSON para manejar la resolución de esquemas de manera más efectiva.

Implementación de tipos `common_schema` y lógica de resolución de tipo/tipo de dato.
Introducción de un optimizador de esquemas JSON y refactorización de json-schema-to-grammar para usar la nueva estructura de esquema común.
Cambio de nombre de `common_schema_parse` a `common_schema_from_json` y de los métodos de construcción desde `parse_*` a `build_*`.
Manejo de parámetros de herramienta vacíos, `$ref` vacío, y aseguramiento de que `{}` signifique cualquier objeto para `json_object`.
Restauración de `(min|max)Length` para implicar tipo de cadena y movimiento de enumeraciones bajo `common_schema`.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x con CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm), Android, y XCFrameworks para iOS.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10984 añade soporte CUDA para SUM_ROWS contiguo por filas

El proyecto llama.cpp lanzó la versión b10984, introduciendo soporte CUDA para operaciones SUM_ROWS contiguas por filas. Esta actualización también organiza el código para incluir GGML_OP_MEAN para manejar tensores contiguos por filas mediante un kernel compartido.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10985 restringe la caché hash RPC a los pesos

El proyecto llama.cpp lanzó la compilación b10985, que modifica el backend RPC para limitar el almacenamiento en caché basado en hash exclusivamente a tensores de pesos. Este cambio aborda un problema donde los datos de activación se hashaban y almacenaban innecesariamente, lo que provocaba un uso excesivo del disco.

github llama.cpp · hace 3 h · 4 vistas

llama.cpp b10982 añade soporte de Flash Attention disperso con Vulkan para DSV4/GLM

El proyecto llama.cpp ha lanzado la versión b10982, que introduce soporte para Flash Attention disperso a través del backend de Vulkan. Esta actualización se dirige específicamente a los modelos DSV4 y GLM, permitiendo que aprovechen mecanismos de atención dispersa en hardware de GPU compatible.

github llama.cpp · hace 4 h · 2 vistas

llama.cpp b10981 corrige la decodificación con estado para Gemma-4 y optimiza la inferencia de MoE en GPU

La versión b10981 de llama.cpp aborda problemas críticos de corrección en la ruta de decodificación con estado del backend OpenVINO, corrigiendo específicamente el soporte para modelos como Gemma-4 que utilizan tamaños de cabeza por capa. También introduce optimizaciones para la inferencia de MoE (Mixture of Experts) en GPU y mejora el rendimiento mediante relayouts del estado KV.

github llama.cpp · hace 5 h · 1 vista

llama.cpp añade núcleos Metal FA para HSK=96, HSV=64 de MiniCPM3

El proyecto llama.cpp ha añadido soporte para el núcleo Flash Attention (FA) a la configuración específica utilizada por MiniCPM3 en Apple Silicon. Este cambio soluciona un fallo donde la bandera `-fa auto` se abortaba debido a una instanciación de núcleo faltante para la longitud de clave de atención 96 y longitud de valor 64.