github llama.cpp · hace 2 h · inference

llama.cpp b10338 corrige la falla en el ciclo de guardado/carga de modelos MoE

Traducido del English → Español

La versión b10338 de llama.cpp resuelve un error crítico en el guardador de modelos que provocaba que los modelos Mixture-of-Experts (MoE) con expertos compartidos fallaran al cargarse después de ser guardados. El problema se originó porque el guardador escribía incorrectamente el valor `n_ff_chexp` en la clave `LLM_KV_EXPERT_SHARED_FEED_FORWARD_LENGTH`, lo que sobrescribía la información correcta de la forma del tensor.

La corrección asegura que la segunda llamada escriba la clave correcta `LLM_KV_EXPERT_CHUNK_FEED_FORWARD_LENGTH` en lugar de sobrescribir la longitud de alimentación hacia adelante compartida.
Esto resuelve las fallas de carga para arquitecturas con expertos compartidos, incluyendo qwen2moe, qwen3-next, granite-moe, hunyuan-moe, ernie4.5, bailingmoe2 y nemotron-h.
La versión incluye binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) y openEuler.

Esta corrección asegura que los ciclos de guardado y carga para modelos MoE con expertos compartidos tengan éxito sin desajustes en la forma del tensor.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Artículos relacionados

github llama.cpp · hace 1 h En vivo

llama.cpp añade la arquitectura Granite-Switch con enrutador en el grafo para selección de LoRA por token

El proyecto llama.cpp introduce soporte para la arquitectura Granite-Switch, una variante de modelo denso que cuenta con N adaptadores LoRA incrustados que se seleccionan por token mediante tokens de control. Esta implementación reemplaza un índice pegajoso global previo de prueba de concepto con un mecanismo de atención "enrutador" causal en el grafo para resolver los índices de adaptador.

lab Hugging Face Blog · hace 3 h · 2 vistas

Multiverse Computing reduce la VRAM de la destilación de conocimiento con pérdida KL fusionada por fragmentos

Multiverse Computing presenta un enfoque eficiente en memoria para la destilación de conocimiento de modelos de lenguaje grandes, combinando el almacenamiento en caché offline de los top-K logits con una pérdida de divergencia Kullback-Leibler (KL) fusionada por fragmentos. Este método elimina la necesidad de mantener ambos modelos, maestro y estudiante, en memoria simultáneamente, reduciendo drásticamente los requisitos de VRAM.

github llama.cpp · hace 5 h

Lanzamiento de llama.cpp b10336 con refactorización de ggml-webgpu

El proyecto llama.cpp ha lanzado la versión b10336, que incluye una refactorización de varios archivos wgsl y la simplificación de flash_attn wgsl dentro del componente ggml-webgpu.

media Hugging Face Forums · hace 1 d · 8 vistas

vLLM Launcher proporciona un escritorio de trabajo para inferencia local de LLM en Windows

Se ha lanzado un nuevo proyecto llamado vLLM Launcher como una aplicación de escritorio para Windows diseñada para gestionar la inferencia de modelos de lenguaje grandes locales a través de WSL2. Esta herramienta permite a los usuarios controlar múltiples backends de motores, incluyendo vLLM, SGLang y llama.cpp, desde una única interfaz gráfica.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b10331 corrige get_info del servidor para informar correctamente el directorio de trabajo aislado

El proyecto llama.cpp lanzó la compilación b10331, que incluye una corrección para el endpoint `get_info` del servidor. Anteriormente, cuando no se proporcionaba un directorio de trabajo actual explícito, la función incorrectamente recurría al directorio de trabajo del proceso del servidor, incluso si estaba configurado un tools runtime.