github llama.cpp · ahora mismo · inference

llama.cpp b10796 añade n_expert_used_max para corregir la carga de Nemotron-3-Puzzle

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10796, que incluye un cambio en el cargador de modelos para admitir modelos con diferentes números de expertos por capa.

Añade la función `n_expert_used_max` para manejar las comprobaciones de capas de expertos durante la carga del modelo.
Actualiza `llama_model_base::load_hparams` para usar `hparams.n_expert_used_max` en lugar de fallar en aserciones.
Resuelve errores al cargar modelos como NVIDIA Nemotron-3-Puzzle-75B-A9B que tienen configuraciones de expertos específicas.

Esta actualización permite a llama.cpp cargar y procesar correctamente modelos donde el número de expertos utilizados varía entre capas, evitando fallos en las aserciones durante la inicialización.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10791 añade optimizaciones de GEMV para descodificación y lm_head cuantificado con OpenCL

El proyecto llama.cpp lanzó la versión b10791, introduciendo optimizaciones significativas de OpenCL para cabezales de modelos de lenguaje cuantificados y operaciones de GEMV de descodificación. Esta actualización también incluye mejoras de GEMM en lotes medianos relevantes para la descodificación especulativa y la predicción de múltiples tokens.

github llama.cpp · hace 1 d · 2 vistas

ggml-org lanza llama.cpp b10774 con corrección de caché KV para ajuste fino

El proyecto ggml-org ha lanzado la versión b10774 de llama.cpp, que incluye una corrección para el problema de falta de caché KV en el módulo de ajuste fino.

github llama.cpp · hace 1 d · 7 vistas

llama.cpp b10763 habilita preserve_reasoning por defecto

El proyecto llama.cpp lanzó la compilación b10763, que cambia el comportamiento predeterminado del argumento de palabra clave `preserve_reasoning` de la plantilla de chat. El servidor ahora registra el estado efectivo de este kwarg y emite una advertencia cuando está habilitado por defecto en plantillas que lo admiten.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10760 corrige la estabilidad de inferencia de Qwen3-tts-0.6b

El proyecto llama.cpp lanzó la compilación b10760, que incluye correcciones específicas para el modelo Qwen3-tts-0.6B para prevenir inestabilidad numérica durante la inferencia.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10751 fusiona la reducción de expertos ponderados de MoE para CUDA

El proyecto llama.cpp lanzó la versión b10751, que introduce un núcleo fusionado para la reducción de expertos ponderados de MoE (Mixture of Experts) en CUDA. Esta optimización reemplaza la línea base anterior que ejecutaba dos núcleos físicos con un único núcleo de reducción ponderada para reducir el tráfico intermedio de memoria global.