github llama.cpp · il y a 1 h · inference

llama.cpp b10206 impose les mêmes types de cache K et V pour les modèles DeepSeek V4 et MLA

Traduit de English → Français

Le projet llama.cpp a publié la version b10206, qui introduit des modifications spécifiques concernant la gestion des caches clé-valeur dans les mécanismes d'attention. La mise à jour garantit que les types de cache K et V restent cohérents pour les modèles DeepSeek V4.

Impose des types de cache K et V identiques pour les architectures DeepSeek V4.
Active Flash Attention (FA) lorsque le cache V est quantifié.
Applique la même imposition de types de cache K et V aux autres modèles MLA.

Cette version fournit des binaires pour macOS, Linux, Windows, Android et openEuler sur divers backends matériels incluant CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL et OpenCL.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

Publication de llama.cpp b10202 avec fusion SYCL RMS_NORM

Le projet llama.cpp a publié la version b10202, introduisant une optimisation SYCL qui fusionne les opérations RMS_NORM et MUL.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10201 améliore flash attention pour KV quantifié sur longs contextes

Le projet llama.cpp a publié la version b10201, qui inclut une amélioration clé du backend ggml-webgpu. Cette mise à jour améliore les performances de flash attention lors de la gestion des caches clé-valeur quantifiés pendant la génération de contexte long.

github llama.cpp · il y a 19 h · 1 vue

llama.cpp b10198 ajoute le support Vulkan pour la concaténation quantifiée

Le projet llama.cpp a publié la compilation b10198, qui introduit le support des opérations de concaténation quantifiée dans le backend Vulkan.

github llama.cpp · il y a 2 j · 1 vue

llama.cpp b10180 ajoute un chemin rapide contigu et des mathématiques d'indice 32 bits pour les opérations unaires SYCL

Le projet llama.cpp a publié la compilation b10180, introduisant des optimisations de performance pour le backend SYCL. La mise à jour implémente un chemin rapide contigu et bascule les mathématiques d'indice élément par élément pour utiliser fastdiv avec des entiers 32 bits.

github llama.cpp · il y a 4 j · 3 vues

llama.cpp b10155 ajoute le support audio MiMo-V2.5

Le projet llama.cpp a publié la compilation b10155, qui introduit le support pour le modèle d'entrée audio MiMo-V2.5. Cette mise à jour inclut un convertisseur GGUF pour l'audio MiMo et implémente la logique backend C++ nécessaire pour gérer les modèles audio basés sur RVQ.