github llama.cpp · il y a 1 h · inference

llama.cpp b11007 active CUDA graph pour le brouillon MTP

Traduit de English → Français

Le projet llama.cpp a publié la version b11007, qui introduit le support des CUDA graphs dans les brouillons de Multi-Token Prediction (MTP). Cette mise à jour améliore l'efficacité du processus de brouillage en tirant parti de l'exécution de CUDA graph.

Activer CUDA graph pour le brouillon MTP afin d'améliorer l'efficacité d'utilisation.
Fournir des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.
Inclure des binaires d'interface utilisateur pour toutes les plateformes prises en charge.

Cette version permet aux utilisateurs de bénéficier de performances d'inférence optimisées sur les GPU NVIDIA compatibles grâce à la nouvelle implémentation du brouillon MTP.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b11006 ajoute le support Hexagon pour K-Quants Q4_K et Q6_K

Le projet llama.cpp a publié la version b11006, introduisant le support des processeurs Qualcomm Hexagon pour gérer les formats de K-Quantization. Cette mise à jour implémente des noyaux spécifiques pour les niveaux de quantification Q4_K et Q6_K sur l'architecture Hexagon.

github llama.cpp · il y a 1 j · 8 vues

llama.cpp b10982 ajoute le support de l'attention Flash sparse Vulkan pour DSV4/GLM

Le projet llama.cpp a publié la version b10982, qui introduit le support de l'attention Flash sparse via le backend Vulkan. Cette mise à jour cible spécifiquement les modèles DSV4 et GLM, leur permettant d'exploiter les mécanismes d'attention sparse sur du matériel GPU compatible.

github llama.cpp · il y a 1 j · 5 vues

llama.cpp b10981 corrige le décodage d'état pour Gemma-4 et optimise l'inférence GPU MoE

La version b10981 de llama.cpp résout des problèmes critiques de correction dans le chemin de décodage d'état du backend OpenVINO, en corrigeant spécifiquement la prise en charge des modèles comme Gemma-4 qui utilisent des tailles de tête par couche. Elle introduit également des optimisations pour l'inférence GPU Mixture of Experts (MoE) et améliore les performances grâce à des réorganisations d'état KV.

github llama.cpp · il y a 2 j · 12 vues

llama.cpp 0.4.1 ajoute le support de Maple 20B-A1B, Tencent Hy 4 et Spark2.5

Le projet llama.cpp a publié la version 0.4.1, introduisant le support de l'architecture ternaire Mixture of Experts Maple 20B-A1B sur CPU, ainsi qu'un support en aperçu pour les modèles Tencent Hy 4 et Spark2.5.

github llama.cpp · il y a 3 j · 3 vues

llama.cpp b10951 déplace llama_n_rs_seq avant llama_decode pour éviter les appels inutiles

Le projet llama.cpp a publié la version b10951, qui inclut une optimisation du code dans la logique de décodage. L'appel à la fonction `llama_n_rs_seq` est maintenant exécuté avant `llama_decode`, permettant au système de retourner directement si la vérification réussit.