github llama.cpp · hace 1 d · inference

llama.cpp b10354 corrige la máscara de afinidad de CPU en Android

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10354, que incluye una corrección para la máscara de afinidad de CPU que se ignoraba en dispositivos Android.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL, OpenVINO) y Android (arm64).

El soporte de KleidiAI para macOS Apple Silicon permanece deshabilitado en esta compilación.

Las compilaciones de openEuler están en gran medida deshabilitadas, con solo configuraciones específicas de x86 y aarch64 disponibles.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10344 añade soporte MTP para modelos Nemotron

El proyecto llama.cpp ha lanzado la compilación b10344, que introduce soporte para Multi-Token Prediction (MTP) específicamente para los modelos Nemotron y Nemotron Nano.

github llama.cpp · hace 2 d

llama.cpp añade la arquitectura Granite-Switch con enrutador en el grafo para selección de LoRA por token

El proyecto llama.cpp introduce soporte para la arquitectura Granite-Switch, una variante de modelo denso que cuenta con N adaptadores LoRA incrustados que se seleccionan por token mediante tokens de control. Esta implementación reemplaza un índice pegajoso global previo de prueba de concepto con un mecanismo de atención "enrutador" causal en el grafo para resolver los índices de adaptador.

github llama.cpp · hace 2 d

Lanzamiento de llama.cpp b10336 con refactorización de ggml-webgpu

El proyecto llama.cpp ha lanzado la versión b10336, que incluye una refactorización de varios archivos wgsl y la simplificación de flash_attn wgsl dentro del componente ggml-webgpu.

media Hugging Face Forums · hace 3 d · 8 vistas

vLLM Launcher proporciona un escritorio de trabajo para inferencia local de LLM en Windows

Se ha lanzado un nuevo proyecto llamado vLLM Launcher como una aplicación de escritorio para Windows diseñada para gestionar la inferencia de modelos de lenguaje grandes locales a través de WSL2. Esta herramienta permite a los usuarios controlar múltiples backends de motores, incluyendo vLLM, SGLang y llama.cpp, desde una única interfaz gráfica.

github llama.cpp · hace 3 d · 2 vistas

llama.cpp b10330 fusiona rms_norm, mul y rope en CUDA

El proyecto llama.cpp ha lanzado la versión b10330, introduciendo una optimización de CUDA que fusiona las operaciones rms_norm, multiplicación y RoPE en un solo kernel. Este cambio viene acompañado de comprobaciones de rango de memoria para las operaciones fusionadas y nuevos casos de prueba para pesos de difusión.