github llama.cpp · hace 2 h · inference

llama.cpp b10344 añade soporte MTP para modelos Nemotron

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10344, que introduce soporte para Multi-Token Prediction (MTP) específicamente para los modelos Nemotron y Nemotron Nano.

Añade soporte MTP para el modelo Nemotron Nano.
Introduce la configuración mtp_flags para el modelo Nemotron.
Proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) y openEuler.

Esta actualización permite a los usuarios aprovechar las capacidades de MTP con los modelos Nemotron en una amplia gama de plataformas de hardware y sistemas operativos.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp añade la arquitectura Granite-Switch con enrutador en el grafo para selección de LoRA por token

El proyecto llama.cpp introduce soporte para la arquitectura Granite-Switch, una variante de modelo denso que cuenta con N adaptadores LoRA incrustados que se seleccionan por token mediante tokens de control. Esta implementación reemplaza un índice pegajoso global previo de prueba de concepto con un mecanismo de atención "enrutador" causal en el grafo para resolver los índices de adaptador.

github llama.cpp · hace 10 h

Lanzamiento de llama.cpp b10336 con refactorización de ggml-webgpu

El proyecto llama.cpp ha lanzado la versión b10336, que incluye una refactorización de varios archivos wgsl y la simplificación de flash_attn wgsl dentro del componente ggml-webgpu.

media Hugging Face Forums · hace 2 d · 8 vistas

vLLM Launcher proporciona un escritorio de trabajo para inferencia local de LLM en Windows

Se ha lanzado un nuevo proyecto llamado vLLM Launcher como una aplicación de escritorio para Windows diseñada para gestionar la inferencia de modelos de lenguaje grandes locales a través de WSL2. Esta herramienta permite a los usuarios controlar múltiples backends de motores, incluyendo vLLM, SGLang y llama.cpp, desde una única interfaz gráfica.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10330 fusiona rms_norm, mul y rope en CUDA

El proyecto llama.cpp ha lanzado la versión b10330, introduciendo una optimización de CUDA que fusiona las operaciones rms_norm, multiplicación y RoPE en un solo kernel. Este cambio viene acompañado de comprobaciones de rango de memoria para las operaciones fusionadas y nuevos casos de prueba para pesos de difusión.

github llama.cpp · hace 2 d · 6 vistas

llama.cpp b10328 añade aislamiento inicial de herramientas del servidor mediante Docker

El proyecto llama.cpp ha lanzado la compilación b10328, que introduce soporte inicial para aislar herramientas dentro del componente del servidor utilizando Docker. Esta actualización incluye documentación y adaptaciones de código para separar las cajas de arena de E/S de las herramientas y renombrar las banderas de configuración relevantes.