github llama.cpp · il y a 1 h · inference

llama.cpp b10238 ajoute le support MTP pour Qwen3-Next

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10238, qui introduit le support de Multi-Token Prediction (MTP) pour la famille de modèles Qwen3-Next. Cette mise à jour comprend des modifications spécifiques de l'implémentation pour gérer les couches MTP et des correctifs liés à la vérification des types Python dans la base de code.

Ajout du support MTP pour les modèles Qwen3-Next dans src/models/qwen3next.cpp.
Correction du calcul de num_mtp directement à partir des couches MTP et définition de opt_num_mtp_layers dans _QwenMtpMixin.
Résolution des problèmes de vérification des types Python et mise à jour de gguf-py/gguf/constants.py.
Fourniture de binaires pour macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) et openEuler.

Cette version permet aux utilisateurs d'exécuter des modèles Qwen3-Next avec des capacités MTP sur une large gamme d'architectures matérielles et de systèmes d'exploitation.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

Articles similaires

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b10237 ajoute le support MTP pour DeepSeek V3.2

Le projet llama.cpp a publié la version b10237, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle DeepSeek V3.2.

github llama.cpp · il y a 14 h · 7 vues

llama.cpp b10232 implémente les hyper-connexions DeepSeek V4 dans Metal

Le projet llama.cpp a publié la compilation b10232, qui introduit le support des hyper-connexions DeepSeek V4 via le backend Metal. Cette mise à jour ajoute l'implémentation des opérations GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE et GGML_OP_DSV4_HC_POST.

github llama.cpp · il y a 2 j · 9 vues

llama.cpp b10219 persiste reasoning_content dans l'historique de chat

Le projet llama.cpp a publié la version b10219, qui inclut une correction pour le CLI afin de persister le contenu du raisonnement dans l'historique de chat. Auparavant, bien que `llama-cli` collecte le raisonnement du flux pour l'affichage, il ne stockait que le contenu de l'assistant dans les messages, empêchant le drapeau `--reasoning-preserve` de réinjecter les pensées précédentes lors des tours suivants.

github llama.cpp · il y a 3 j · 8 vues

llama.cpp b10213 ajoute le support de la quantification du cache kv rotatif

Le projet llama.cpp a publié la version b10213, introduisant le support de la quantification du cache clé-valeur rotatif. Cette mise à jour est disponible sur une large gamme de plateformes et d'accélérateurs matériels.

github llama.cpp · il y a 3 j · 3 vues

llama.cpp b10212 charge les tenseurs MTP uniquement lors de l'utilisation

Le projet llama.cpp a publié la version b10212, qui inclut une modification pour charger les tenseurs Multi-Token Prediction (MTP) uniquement s'ils sont réellement utilisés. Cette mise à jour garantit que les tenseurs MTP sont ignorés lors du chargement des modèles restants qui prennent en charge la fonctionnalité mais n'en ont pas besoin.