github llama.cpp · ahora mismo · inference

llama.cpp b10817 añade trazado de memoria SYCL mediante GGML_SYCL_MEMTRACE

Traducido del English → Español

La versión llama.cpp b10817 introduce una nueva función de trazado de memoria SYCL para ayudar a los desarrolladores a comprender los patrones de asignación de memoria del dispositivo. Esta funcionalidad se controla mediante dos nuevas variables de entorno que permiten un registro detallado del uso de la memoria.

Establecer GGML_SYCL_MEMTRACE=1 muestra el uso de memoria por sitio, actualizándose solo cuando las asignaciones aumentan en más de 64MiB.
Establecer GGML_SYCL_MEMTRACE=2 registra cada evento individual de asignación y liberación.
El umbral de informe predeterminado se puede personalizar utilizando la variable GGML_SYCL_MEMTRACE_STEP.

Esta herramienta está destinada a ayudar en la depuración de problemas relacionados con la memoria y ya ha demostrado ser útil para mejorar el algoritmo --fit.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp 0.4.0 añade soporte para Qwen3.8-Flash-Next y Nemotron-3-Puzzle

llama.cpp versión 0.4.0 introduce soporte de arquitectura inicial para los modelos Qwen3.8-Flash-Next y NVIDIA Nemotron-3-Puzzle-75B-A9B, junto con una actualización de la biblioteca subyacente ggml a la versión 0.23.0.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b10795 fusiona operaciones SYCL

El proyecto llama.cpp lanzó la versión b10795, que incluye una nueva optimización para el backend de SYCL. Esta actualización permite la fusión de las cadenas RMS_NORM+MUL+ADD y ADD+ADD residual bajo la bandera GGML_SYCL_ENABLE_FUSION.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10791 añade optimizaciones de GEMV para descodificación y lm_head cuantificado con OpenCL

El proyecto llama.cpp lanzó la versión b10791, introduciendo optimizaciones significativas de OpenCL para cabezales de modelos de lenguaje cuantificados y operaciones de GEMV de descodificación. Esta actualización también incluye mejoras de GEMM en lotes medianos relevantes para la descodificación especulativa y la predicción de múltiples tokens.

media r/LocalLLaMA · hace 2 d · 6 vistas

IFM lanza K2-Horizon-MoVA-36B-A4B, un modelo MoE disperso con 4B de parámetros activos

IFM ha lanzado el checkpoint final para K2-Horizon-MoVA-36B-A4B, un modelo Mixture-of-Experts que presenta atención Mixture-of-Values y almacena 36B de parámetros pero ejecuta solo 4B por token. El lanzamiento incluye formatos GGUF y enlaces a variantes más pequeñas de la familia K2-Horizon.

github llama.cpp · hace 2 d · 8 vistas

llama.cpp añade soporte de atención flash dispersa para el prellenado con Metal

El proyecto llama.cpp ha introducido soporte de atención flash dispersa (FA) para el backend de Metal, dirigido específicamente a la fase de prellenado de la inferencia del modelo. Esta actualización incluye un nuevo kernel que compacta las entradas de máscara finita en listas de índices por fila y extiende el kernel de FA vectorial con recolección opcional de índices dispersos.