github llama.cpp · hace 1 h · inference

llama.cpp b10247 corrige fallos con modelos MoE amplios mediante asignación dinámica

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10247, que aborda problemas de estabilidad al cargar grandes modelos Mixture of Experts (MoE) en configuraciones multi-backend. La actualización reemplaza los arrays de tamaño fijo en el programador del backend con búferes asignados dinámicamente para manejar divisiones de grafos que exceden 30 tensores de entrada.

Reemplaza GGML_SCHED_MAX_SPLIT_INPUTS con asignación dinámica para entradas de grafos divididos.
Corrige fallos al cargar modelos MoE amplios como Gemma 4, Qwen MoE, Mixtral y DeepSeek.
Actualiza el cálculo de graph_size para usar el conteo real de entradas en lugar de una constante fija.
Proporciona binarios para macOS (Apple Silicon/Intel), Linux (CPU/Vulkan/ROCm/OpenVINO/SYCL), Windows (CPU/CUDA/Vulkan/OpenVINO/SYCL/HIP), Android e iOS.

Este cambio permite a los usuarios ejecutar arquitecturas MoE complejas sin encontrar fallos relacionados con el programador en sistemas con múltiples dispositivos backend.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10246 enruta grandes lm_head q6_K a GEMV plano

El proyecto llama.cpp lanzó la versión b10246, que incluye una corrección para el rendimiento de OpenCL en configuraciones específicas de modelos. La actualización aborda un problema donde la condición de dimensión original era insuficiente para manejar grandes pesos.

github llama.cpp · hace 7 h · 2 vistas

llama.cpp b10242 añade un muestreador de backend CUDA para penalizaciones

El proyecto llama.cpp lanzó la versión b10242, introduciendo un nuevo muestreador de backend para penalizaciones que permite descargar el manejo de penalizaciones a la GPU. Este cambio mejora la función `common_sampler_init` y actualiza la estructura `llama_sampler_penalties` para heredar de `llama_sampler_backend`, habilitando ajustes de frecuencia y presencia en el backend.

github llama.cpp · hace 10 h · 1 vista

llama.cpp b10241 corrige carreras de datos SMEM en block_reduce para CUDA

El proyecto llama.cpp lanzó la versión b10241, que aborda un error crítico en el backend de CUDA. La actualización resuelve las carreras de datos que ocurrían al reutilizar la memoria compartida (SMEM) durante las reducciones por bloques.

media Hugging Face Forums · hace 13 h · 1 vista

Quesma publica un mapa curado de 218 herramientas y artículos para la eficiencia del costo de tokens en LLM

Quesma ha lanzado una lista abierta y curada que contiene 218 entradas que rastrean dónde se gastan los tokens en flujos de trabajo de LLM y agentes. El recurso cubre monitoreo, caché semántico, modelos locales económicos, ingeniería de contexto y gobernanza de costos.

github llama.cpp · hace 16 h

llama.cpp b10238 añade soporte para MTP en Qwen3-Next

El proyecto llama.cpp lanzó la compilación b10238, que introduce soporte para Multi-Token Prediction (MTP) en la familia de modelos Qwen3-Next. Esta actualización incluye cambios específicos de implementación para manejar capas MTP y correcciones relacionadas con la verificación de tipos de Python dentro del código base.