github llama.cpp · il y a 2 h · inference

llama.cpp b10237 ajoute le support MTP pour DeepSeek V3.2

Traduit de English → Français

Le projet llama.cpp a publié la version b10237, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle DeepSeek V3.2.

La mise à jour active les capacités MTP spécifiquement pour DeepSeek V3.2 au sein du framework llama.
La logique de découverte du type de modèle a été ajustée afin que les couches MTP n'aient pas besoin d'être incluses explicitement lors du processus de détection.
Des binaires sont fournis pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) et openEuler.

Cette version permet aux utilisateurs de tirer parti de MTP avec DeepSeek V3.2 sur une large gamme d'architectures matérielles et de systèmes d'exploitation.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10238 ajoute le support MTP pour Qwen3-Next

Le projet llama.cpp a publié la compilation b10238, qui introduit le support de Multi-Token Prediction (MTP) pour la famille de modèles Qwen3-Next. Cette mise à jour comprend des modifications spécifiques de l'implémentation pour gérer les couches MTP et des correctifs liés à la vérification des types Python dans la base de code.

github llama.cpp · il y a 14 h · 7 vues

llama.cpp b10232 implémente les hyper-connexions DeepSeek V4 dans Metal

Le projet llama.cpp a publié la compilation b10232, qui introduit le support des hyper-connexions DeepSeek V4 via le backend Metal. Cette mise à jour ajoute l'implémentation des opérations GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE et GGML_OP_DSV4_HC_POST.

github llama.cpp · il y a 2 j · 9 vues

llama.cpp b10219 persiste reasoning_content dans l'historique de chat

Le projet llama.cpp a publié la version b10219, qui inclut une correction pour le CLI afin de persister le contenu du raisonnement dans l'historique de chat. Auparavant, bien que `llama-cli` collecte le raisonnement du flux pour l'affichage, il ne stockait que le contenu de l'assistant dans les messages, empêchant le drapeau `--reasoning-preserve` de réinjecter les pensées précédentes lors des tours suivants.

github llama.cpp · il y a 3 j · 8 vues

llama.cpp b10213 ajoute le support de la quantification du cache kv rotatif

Le projet llama.cpp a publié la version b10213, introduisant le support de la quantification du cache clé-valeur rotatif. Cette mise à jour est disponible sur une large gamme de plateformes et d'accélérateurs matériels.

github llama.cpp · il y a 3 j · 3 vues

llama.cpp b10212 charge les tenseurs MTP uniquement lors de l'utilisation

Le projet llama.cpp a publié la version b10212, qui inclut une modification pour charger les tenseurs Multi-Token Prediction (MTP) uniquement s'ils sont réellement utilisés. Cette mise à jour garantit que les tenseurs MTP sont ignorés lors du chargement des modèles restants qui prennent en charge la fonctionnalité mais n'en ont pas besoin.