github llama.cpp · il y a 1 h · inference

llama.cpp b10201 améliore flash attention pour KV quantifié sur longs contextes

Traduit de English → Français

Le projet llama.cpp a publié la version b10201, qui inclut une amélioration clé du backend ggml-webgpu. Cette mise à jour améliore les performances de flash attention lors de la gestion des caches clé-valeur quantifiés pendant la génération de contexte long.

Traitement vectoriel amélioré de flash attention pour le cache KV quantifié dans ggml-webgpu.
Correction de bugs liés à la vérification du type de valeur et mise à jour des commentaires.
Résolution des erreurs de compilation causées par le rebasing.
Binaires fournis pour macOS (Apple Silicon, Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO, SYCL) et openEuler.

Cette version permet aux utilisateurs d'exécuter llama.cpp sur une large gamme de plateformes matérielles tout en bénéficiant de mécanismes d'attention optimisés pour des séquences plus longues.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

Publication de llama.cpp b10202 avec fusion SYCL RMS_NORM

Le projet llama.cpp a publié la version b10202, introduisant une optimisation SYCL qui fusionne les opérations RMS_NORM et MUL.

github llama.cpp · il y a 16 h · 1 vue

llama.cpp b10198 ajoute le support Vulkan pour la concaténation quantifiée

Le projet llama.cpp a publié la compilation b10198, qui introduit le support des opérations de concaténation quantifiée dans le backend Vulkan.

github llama.cpp · il y a 2 j · 1 vue

llama.cpp b10180 ajoute un chemin rapide contigu et des mathématiques d'indice 32 bits pour les opérations unaires SYCL

Le projet llama.cpp a publié la compilation b10180, introduisant des optimisations de performance pour le backend SYCL. La mise à jour implémente un chemin rapide contigu et bascule les mathématiques d'indice élément par élément pour utiliser fastdiv avec des entiers 32 bits.

github llama.cpp · il y a 4 j · 3 vues

llama.cpp b10155 ajoute le support audio MiMo-V2.5

Le projet llama.cpp a publié la compilation b10155, qui introduit le support pour le modèle d'entrée audio MiMo-V2.5. Cette mise à jour inclut un convertisseur GGUF pour l'audio MiMo et implémente la logique backend C++ nécessaire pour gérer les modèles audio basés sur RVQ.

github llama.cpp · il y a 4 j · 2 vues

llama.cpp b10150 ajuste la logique de déchargement ggml et corrige le graphe dsv4

Le projet llama.cpp a publié la compilation b10150, qui inclut des ajustements à la logique ggml pour les opérations de déchargement vers le backend des poids. Cette mise à jour traite également des corrections pour le graphe llama dsv4.