github llama.cpp · il y a 1 h · inference

llama.cpp b10232 implémente les hyper-connexions DeepSeek V4 dans Metal

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10232, qui introduit le support des hyper-connexions DeepSeek V4 via le backend Metal. Cette mise à jour ajoute l'implémentation des opérations GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE et GGML_OP_DSV4_HC_POST.

Les nouveaux kernels utilisent les optimisations de registre SIMDgroup et de mélange.
Le mécanisme de dispatch Metal a été ajouté pour prendre en charge les comptes d'itération Sinkhorn de production et les largeurs d'embedding.
Des binaires précompilés sont disponibles pour macOS (Apple Silicon et Intel), iOS, Linux, Windows, Android et openEuler sur divers backends matériels, y compris CPU, CUDA, ROCm, Vulkan et OpenVINO.

Cette version permet une inférence efficace des modèles DeepSeek V4 sur les appareils Apple Silicon en utilisant le framework Metal.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10219 persiste reasoning_content dans l'historique de chat

Le projet llama.cpp a publié la version b10219, qui inclut une correction pour le CLI afin de persister le contenu du raisonnement dans l'historique de chat. Auparavant, bien que `llama-cli` collecte le raisonnement du flux pour l'affichage, il ne stockait que le contenu de l'assistant dans les messages, empêchant le drapeau `--reasoning-preserve` de réinjecter les pensées précédentes lors des tours suivants.

github llama.cpp · il y a 2 j · 8 vues

llama.cpp b10213 ajoute le support de la quantification du cache kv rotatif

Le projet llama.cpp a publié la version b10213, introduisant le support de la quantification du cache clé-valeur rotatif. Cette mise à jour est disponible sur une large gamme de plateformes et d'accélérateurs matériels.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10212 charge les tenseurs MTP uniquement lors de l'utilisation

Le projet llama.cpp a publié la version b10212, qui inclut une modification pour charger les tenseurs Multi-Token Prediction (MTP) uniquement s'ils sont réellement utilisés. Cette mise à jour garantit que les tenseurs MTP sont ignorés lors du chargement des modèles restants qui prennent en charge la fonctionnalité mais n'en ont pas besoin.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10210 corrige les tokens acceptés lors de la relecture des tokens de brouillon

Le projet llama.cpp a publié la version b10210, qui inclut une correction de la logique du serveur pour gérer les tokens acceptés lorsque la relecture des tokens de brouillon est nécessaire.

github llama.cpp · il y a 2 j · 6 vues

llama.cpp b10208 ajoute l'attention flash GEMM oneMKL pour le traitement des prompts accéléré par XMX

La version b10208 de llama.cpp introduit le support SYCL pour l'attention flash GEMM oneMKL, permettant l'accélération matérielle XMX pour le traitement des prompts. Ce changement améliore considérablement la vitesse d'inférence sur les GPU Intel Arc en utilisant des noyaux MKL au lieu du chemin TILE par défaut.