github llama.cpp · il y a 1 h · inference

llama.cpp b10251 ajoute le support MTP pour GLM-4.7-Flash

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10251, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle GLM-4.7-Flash.

Cette version inclut des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64, arm64, s390x avec CPU, Vulkan, ROCm 7.2, OpenVINO et backends SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler (ACL Graph).

La compilation KleidiAI de macOS Apple Silicon a été désactivée dans cette version.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10238 ajoute le support MTP pour Qwen3-Next

Le projet llama.cpp a publié la compilation b10238, qui introduit le support de Multi-Token Prediction (MTP) pour la famille de modèles Qwen3-Next. Cette mise à jour comprend des modifications spécifiques de l'implémentation pour gérer les couches MTP et des correctifs liés à la vérification des types Python dans la base de code.

github llama.cpp · il y a 20 h · 5 vues

llama.cpp b10237 ajoute le support MTP pour DeepSeek V3.2

Le projet llama.cpp a publié la version b10237, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle DeepSeek V3.2.

github llama.cpp · il y a 1 j · 7 vues

llama.cpp b10232 implémente les hyper-connexions DeepSeek V4 dans Metal

Le projet llama.cpp a publié la compilation b10232, qui introduit le support des hyper-connexions DeepSeek V4 via le backend Metal. Cette mise à jour ajoute l'implémentation des opérations GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE et GGML_OP_DSV4_HC_POST.

github llama.cpp · il y a 2 j · 9 vues

llama.cpp b10219 persiste reasoning_content dans l'historique de chat

Le projet llama.cpp a publié la version b10219, qui inclut une correction pour le CLI afin de persister le contenu du raisonnement dans l'historique de chat. Auparavant, bien que `llama-cli` collecte le raisonnement du flux pour l'affichage, il ne stockait que le contenu de l'assistant dans les messages, empêchant le drapeau `--reasoning-preserve` de réinjecter les pensées précédentes lors des tours suivants.

github llama.cpp · il y a 3 j · 8 vues

llama.cpp b10213 ajoute le support de la quantification du cache kv rotatif

Le projet llama.cpp a publié la version b10213, introduisant le support de la quantification du cache clé-valeur rotatif. Cette mise à jour est disponible sur une large gamme de plateformes et d'accélérateurs matériels.