github llama.cpp · hace 1 h · inference

llama.cpp b11377 respeta json_schema en el analizador Ling 3.0

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11377, que actualiza el analizador de chat Ling 3.0 para manejar correctamente las restricciones `json_schema`.

Anteriormente, la gramática de Ling 3.0 solo admitía llamadas a herramientas y dejaba sin restricción las solicitudes de `response_format`. Esta versión añade una ruta de gramática de formato de respuesta prioritaria que tiene precedencia sobre las herramientas.

La actualización requiere un bloque `<think>` antes de la salida JSON cuando el pensamiento está habilitado y evita prosa posterior tras la respuesta JSON, corrigiendo el problema #29652.

Esta compilación incluye binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b11375 corrige abortos de realocación de grafos bajo GGML_SCHED_NO_REALLOC

El proyecto llama.cpp lanzó la compilación b11375, que aborda un problema crítico donde las celdas ubatch no contiguas forzaban realocaciones de grafos que se interrumpían cuando estaba configurado el indicador GGML_SCHED_NO_REALLOC.

github llama.cpp · hace 3 h · 1 vista

actualizaciones de ggml-openvino a 2026.4.1 con fusión MoE y correcciones en el listado de dispositivos

El backend ggml-openvino para llama.cpp se ha actualizado a la versión 2026.4.1, introduciendo optimizaciones de rendimiento, soporte ampliado de operadores y una mejor enumeración de dispositivos.

github llama.cpp · hace 4 h · 1 vista

llama.cpp b11372 reduce a la mitad la memoria del índice de qwen4exp y añade soporte para CUDA con 4 cabezas

La versión b11372 de llama.cpp introduce optimizaciones para el índice ligero (lightning indexer) del modelo qwen4exp, principalmente reduciendo a la mitad la memoria requerida para las puntuaciones del índice durante el procesamiento de contextos largos. Esto se logra calculando las puntuaciones de las cabezas in situ en lugar de materializar tensores separados para cada cabeza.

github llama.cpp · hace 10 h · 2 vistas

llama.cpp b11370 fusiona expertos compartidos en MMVQ

El proyecto llama.cpp ha lanzado la compilación b11370, que incluye una optimización de CUDA para fusionar expertos compartidos en la arquitectura Mixture of MoE con Cuantización Vectorial (MMVQ). Este cambio es parte del pull request #29184 y también aborda las comprobaciones nulas de búferes y el manejo de argumentos para stride_col_dst.

github llama.cpp · hace 13 h · 2 vistas

llama.cpp b11368 añade muestreo probabilístico para borrador simple y MTP

El proyecto llama.cpp lanzó la compilación b11368, que introduce muestreo probabilístico para flujos de trabajo de borrador simple y MTP (Multi-Token Prediction). Esta actualización modifica el mecanismo de borrado para usar selección probabilística mientras verifica los objetivos mediante muestreo por rechazo.