github llama.cpp · ahora mismo · inference

llama.cpp b10414 añade soporte para TQ2_0 y optimiza el kernel mul_mv

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10414, introduciendo soporte para el tipo de cuantización ternaria GGML_TYPE_TQ2_0 en el backend de Metal. Esta actualización también incluye optimizaciones al kernel mul_mv de tensores contiguos (cont).

Añadido soporte para GGML_TYPE_TQ2_0 (ternario, 2 bits por elemento) en el backend de Metal.
Optimizado el kernel mul_mv cambiando de operaciones enteras a operaciones de punto flotante.
Mejorado el rendimiento mediante sumas precálculadas, coeficientes elevados y cargas contiguas de y.

Esta versión proporciona binarios actualizados para macOS, Linux, Windows, Android y openEuler en varios backends de hardware que incluyen CPU, CUDA, Vulkan, ROCm y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10354 corrige la máscara de afinidad de CPU en Android

El proyecto llama.cpp ha lanzado la versión b10354, que incluye una corrección para la máscara de afinidad de CPU que se ignoraba en dispositivos Android.

github llama.cpp · hace 3 d · 2 vistas

llama.cpp b10344 añade soporte MTP para modelos Nemotron

El proyecto llama.cpp ha lanzado la compilación b10344, que introduce soporte para Multi-Token Prediction (MTP) específicamente para los modelos Nemotron y Nemotron Nano.

github llama.cpp · hace 3 d · 1 vista

llama.cpp añade la arquitectura Granite-Switch con enrutador en el grafo para selección de LoRA por token

El proyecto llama.cpp introduce soporte para la arquitectura Granite-Switch, una variante de modelo denso que cuenta con N adaptadores LoRA incrustados que se seleccionan por token mediante tokens de control. Esta implementación reemplaza un índice pegajoso global previo de prueba de concepto con un mecanismo de atención "enrutador" causal en el grafo para resolver los índices de adaptador.

github llama.cpp · hace 3 d

Lanzamiento de llama.cpp b10336 con refactorización de ggml-webgpu

El proyecto llama.cpp ha lanzado la versión b10336, que incluye una refactorización de varios archivos wgsl y la simplificación de flash_attn wgsl dentro del componente ggml-webgpu.

media Hugging Face Forums · hace 5 d · 9 vistas

vLLM Launcher proporciona un escritorio de trabajo para inferencia local de LLM en Windows

Se ha lanzado un nuevo proyecto llamado vLLM Launcher como una aplicación de escritorio para Windows diseñada para gestionar la inferencia de modelos de lenguaje grandes locales a través de WSL2. Esta herramienta permite a los usuarios controlar múltiples backends de motores, incluyendo vLLM, SGLang y llama.cpp, desde una única interfaz gráfica.