github llama.cpp · à l'instant · inference

llama.cpp b10796 ajoute n_expert_used_max pour corriger le chargement de Nemotron-3-Puzzle

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10796, qui inclut une modification du chargeur de modèles pour prendre en charge les modèles avec un nombre variable d'experts par couche.

Ajoute la fonction `n_expert_used_max` pour gérer les vérifications des couches d'experts lors du chargement du modèle.
Met à jour `llama_model_base::load_hparams` pour utiliser `hparams.n_expert_used_max` au lieu de provoquer des échecs d'assertion.
Résout les erreurs lors du chargement de modèles comme NVIDIA Nemotron-3-Puzzle-75B-A9B qui ont des configurations d'experts spécifiques.

Cette mise à jour permet à llama.cpp de charger et de traiter correctement les modèles où le nombre d'experts utilisés varie entre les couches, empêchant les échecs d'assertion lors de l'initialisation.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

github llama.cpp · il y a 1 j · 2 vues

ggml-org lance llama.cpp b10774 avec correction du cache KV pour le fine-tuning

Le projet ggml-org a publié la version b10774 de llama.cpp, qui inclut une correction pour le problème d'absence de cache KV dans le module de fine-tuning.

github llama.cpp · il y a 1 j · 7 vues

llama.cpp b10763 active preserve_reasoning par défaut

Le projet llama.cpp a publié la compilation b10763, qui modifie le comportement par défaut de l'argument mot-clé `preserve_reasoning` du modèle de chat. Le serveur enregistre désormais l'état effectif de ce kwarg et émet un avertissement lorsqu'il est activé par défaut sur les modèles qui le prennent en charge.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10760 corrige la stabilité de l'inférence de Qwen3-tts-0.6b

Le projet llama.cpp a publié la compilation b10760, qui comprend des correctifs spécifiques pour le modèle Qwen3-tts-0.6B afin d'éviter l'instabilité numérique lors de l'inférence.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10751 fusionne la réduction pondérée des experts MoE pour CUDA

Le projet llama.cpp a publié la version b10751, qui introduit un noyau fusionné pour la réduction pondérée des experts MoE (Mixture of Experts) sur CUDA. Cette optimisation remplace le précédent point de référence qui exécutait deux noyaux physiques par un seul noyau de réduction pondérée afin de réduire les transferts intermédiaires vers la mémoire globale.