github llama.cpp · hace 1 h · inference

llama.cpp b10635 desbloquea mmq para MoE en sm_60

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10635, que incluye actualizaciones específicas de soporte para CUDA. El cambio principal es el desbloqueo de la multiplicación de matrices de precisión mixta (mmq) para arquitecturas Mixture of Experts (MoE) en GPUs con capacidad de cómputo 6.0 (sm_60).

CUDA: Desbloqueado mmq para MoE en sm_60.
CUDA: Duplicado mmq-config-pascal para dp4a y arquitecturas más antiguas.
CUDA: Reducción de ocupación en GPUs Pascal sin dp4a para formatos de cuantización Q2_K, Q4_K, Q5_K y Q6_K.

Esta versión proporciona binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10636 desactiva la compilación de la interfaz npm por defecto y limpia CI

El proyecto llama.cpp lanzó la versión b10636, que cambia el comportamiento predeterminado al compilar la interfaz web. La compilación de la interfaz basada en npm ahora está desactivada por defecto (LLAMA_BUILD_UI=OFF), y la interfaz se incrusta desde fuentes locales o descargas preconstruidas.

github llama.cpp · hace 2 d · 11 vistas

llama.cpp b10604 añade soporte para formato DSV4 de Deepseek 4 y binarios para macOS/iOS

El proyecto llama.cpp ha lanzado la versión b10604, introduciendo soporte para el formato de modelo Deepseek 4 (DSV4) junto con nuevos binarios precompilados para macOS e iOS.

github llama.cpp · hace 3 d · 5 vistas

llama.cpp b10598 utiliza un algoritmo de redimensionamiento pillow-accurate y corrige resize_algo para todos los modelos

El proyecto llama.cpp lanzó la compilación b10598, que actualiza el módulo mtmd para usar un algoritmo de redimensionamiento pillow-accurate y corrige el resize_algo para todos los modelos. Este lanzamiento también incluye optimizaciones de velocidad.

github llama.cpp · hace 3 d · 5 vistas

llama.cpp b10593 corrige el retroceso de DeepseekV4 y la carga del modelo

El proyecto llama.cpp ha lanzado la compilación b10593, que aborda problemas críticos con la arquitectura del modelo DeepseekV4. La actualización resuelve específicamente un fallo de retroceso que ocurrió durante el procesamiento de múltiples secuencias.

github llama.cpp · hace 4 d · 4 vistas

llama.cpp b10584 corrige el tamaño del contexto de borrador para evitar errores 500 del servidor

El proyecto llama.cpp lanzó la compilación b10584, abordando un problema crítico donde el tamaño del contexto de borrado no coincidía con el contexto objetivo, causando que las solicitudes del servidor fallaran con errores 500.