github llama.cpp · hace 1 h · inference

llama.cpp b10241 corrige carreras de datos SMEM en block_reduce para CUDA

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10241, que aborda un error crítico en el backend de CUDA. La actualización resuelve las carreras de datos que ocurrían al reutilizar la memoria compartida (SMEM) durante las reducciones por bloques.

Corrige la falta de resincronización después de leer desde SMEM en block_reduce para prevenir carreras de datos.
Implementa doble almacenamiento en búfer para operaciones de softmax y normalización de una sola fila.
Añade comentarios explicativos y barreras de memoria específicamente para escenarios multi-warp.
Proporciona binarios para macOS, Linux, Windows, Android e iOS a través de CPU, CUDA, Vulkan, ROCm y otros backends.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

Quesma publica un mapa curado de 218 herramientas y artículos para la eficiencia del costo de tokens en LLM

Quesma ha lanzado una lista abierta y curada que contiene 218 entradas que rastrean dónde se gastan los tokens en flujos de trabajo de LLM y agentes. El recurso cubre monitoreo, caché semántico, modelos locales económicos, ingeniería de contexto y gobernanza de costos.

github llama.cpp · hace 7 h

llama.cpp b10238 añade soporte para MTP en Qwen3-Next

El proyecto llama.cpp lanzó la compilación b10238, que introduce soporte para Multi-Token Prediction (MTP) en la familia de modelos Qwen3-Next. Esta actualización incluye cambios específicos de implementación para manejar capas MTP y correcciones relacionadas con la verificación de tipos de Python dentro del código base.

github llama.cpp · hace 8 h · 3 vistas

llama.cpp b10237 añade soporte para MTP en DeepSeek V3.2

El proyecto llama.cpp lanzó la compilación b10237, que introduce soporte para Predicción de Múltiples Tókenes (MTP) para el modelo DeepSeek V3.2.

media Hugging Face Forums · hace 10 h · 2 vistas

Qxern-v6 utiliza tokens latentes y un sidecar AST para una transferencia de código más rápida y precisa

El sistema Qxern-v6 permite que dos LLM se comuniquen mediante 32 tokens latentes comprimidos mientras preserva la exactitud de los símbolos a través de un sidecar de Abstract Syntax Tree (AST) determinista adaptativo. Desarrollado por un desarrollador de 15 años, la arquitectura utiliza Qwen2.5-Coder-1.5B para comprimir el código y un decodificador congelado Qwen3.5-0.8B para interpretarlo sin ver texto en bruto.

github llama.cpp · hace 11 h · 6 vistas

llama.cpp b10236 implementa el Indexador DSv4 Lightning de Metal

La versión llama.cpp b10236 introduce una implementación de Metal del Indexador DSv4 Lightning, compatible específicamente con entradas de 128 dimensiones y consultas y pesos F32 junto con claves y máscaras F16.