github llama.cpp · hace 2 h · inference

llama.cpp b10816 añade ajustes fa-vec para M3 y nuevos binarios

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10816, que incluye actualizaciones al backend Metal para dispositivos Apple Silicon. El lanzamiento se centra en añadir los ajustes restantes de fast-vector específicamente para la arquitectura del chip M3.

Añade entradas M3 a fa_vec_tuned_table.
Incluye las cuantizaciones q4_0, q4_1, q5_0 y q5_1 en ggml-metal-tuning.
Proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux, Windows, Android y openEuler.
Soporta varios backends incluyendo CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL, CUDA 12/13 y OpenCL Adreno.

Esta actualización garantiza un rendimiento optimizado para el hardware M3 mientras expande la disponibilidad de binarios precompilados en múltiples sistemas operativos y arquitecturas GPU.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10796 añade n_expert_used_max para corregir la carga de Nemotron-3-Puzzle

El proyecto llama.cpp lanzó la compilación b10796, que incluye un cambio en el cargador de modelos para admitir modelos con diferentes números de expertos por capa.

github llama.cpp · hace 1 d · 3 vistas

llama.cpp b10791 añade optimizaciones de GEMV para descodificación y lm_head cuantificado con OpenCL

El proyecto llama.cpp lanzó la versión b10791, introduciendo optimizaciones significativas de OpenCL para cabezales de modelos de lenguaje cuantificados y operaciones de GEMV de descodificación. Esta actualización también incluye mejoras de GEMM en lotes medianos relevantes para la descodificación especulativa y la predicción de múltiples tokens.

github llama.cpp · hace 2 d · 3 vistas

ggml-org lanza llama.cpp b10774 con corrección de caché KV para ajuste fino

El proyecto ggml-org ha lanzado la versión b10774 de llama.cpp, que incluye una corrección para el problema de falta de caché KV en el módulo de ajuste fino.

github llama.cpp · hace 2 d · 9 vistas

llama.cpp b10763 habilita preserve_reasoning por defecto

El proyecto llama.cpp lanzó la compilación b10763, que cambia el comportamiento predeterminado del argumento de palabra clave `preserve_reasoning` de la plantilla de chat. El servidor ahora registra el estado efectivo de este kwarg y emite una advertencia cuando está habilitado por defecto en plantillas que lo admiten.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10760 corrige la estabilidad de inferencia de Qwen3-tts-0.6b

El proyecto llama.cpp lanzó la compilación b10760, que incluye correcciones específicas para el modelo Qwen3-tts-0.6B para prevenir inestabilidad numérica durante la inferencia.