github llama.cpp · hace 1 h · inference

llama.cpp b10285 añade agrupamiento de múltiples filas para deepseek-ocr

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10285, que introduce soporte para el agrupamiento de múltiples filas en el módulo mtmd específicamente para modelos deepseek-ocr. Esta actualización permite al sistema entrelazar las filas de deepseek-ocr en una sola operación en lugar de procesarlas individualmente.

mtmd ahora soporta agrupamiento de múltiples filas para deepseek-ocr.
La implementación entrelaza las filas de deepseek-cr en un solo paso en lugar de por fila.
Los binarios están disponibles para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) y openEuler.

Esta versión proporciona binarios actualizados en múltiples plataformas y aceleradores de hardware para usuarios que requieren las nuevas capacidades de procesamiento de deepseek-ocr.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10282 añade contadores de spec-decode al endpoint /metrics

El proyecto llama.cpp ha lanzado la versión b10282, que introduce nuevas capacidades de monitoreo para la decodificación especulativa. El servidor ahora incluye contadores de spec-decode en su endpoint /metrics, permitiendo a los usuarios rastrear las métricas de rendimiento relacionadas con esta función.

github llama.cpp · hace 16 h

llama.cpp b10275 decodifica la salida OEM de Windows a UTF-8 en herramientas integradas

El proyecto llama.cpp lanzó la compilación b10275, que corrige un problema de codificación de caracteres en Windows donde los caracteres acentuados se perdían silenciosamente. La actualización asegura que el texto de procesos hijos que escriben en la página de códigos OEM se decodifique correctamente a UTF-8 antes de llegar a la capa JSON.

github llama.cpp · hace 20 h

llama.cpp b10273 resuelve la longitud del contexto del muestreador y elimina las ventanas de contexto completo

El proyecto llama.cpp lanzó la compilación b10273, abordando un problema crítico donde los muestreadores basados en historial no podían inferir la longitud correcta del contexto durante la inicialización debido a restricciones del backend de muestreo.

github llama.cpp · hace 22 h

llama.cpp b10269 corrige dflash wo_a reshape en la carga

El proyecto llama.cpp ha lanzado la compilación b10269, que incluye una corrección para el problema de reshaping wo_a de dflash durante la carga del modelo.

media Hugging Face Forums · hace 1 d

Atención lineal causal O(N) con compuerta de decaimiento y núcleo Triton fusionado, de código abierto

Un desarrollador ha liberado como código abierto una arquitectura de Atención Lineal Causal O(N) con compuerta de decaimiento que incluye núcleos de acumulación de estado Triton/CUDA fusionados, diseñados para evitar los cuellos de botella de MHA cuadrático.