github llama.cpp · à l'instant · inference

llama.cpp b10236 implémente le DSv4 Lightning Indexer Metal

Traduit de English → Français

La version llama.cpp b10236 introduit une implémentation Metal du DSv4 Lightning Indexer, prenant spécifiquement en charge les entrées de 128 dimensions avec des requêtes et poids F32 ainsi que des clés et masques F16.

La mise à jour inclut des noyaux en tuiles et de queue pour gérer les longueurs KV proches des limites de 8 et 64 éléments.
Les tuiles K sont préchargées et déquantifiées dans la mémoire du groupe de threads F16 avant les chargements de matrices simdgroup, prenant en charge les formats F32, F16, BF16 et divers formats de quantification.

Les benchmarks montrent un débit de préremplissage (pp512) amélioré pour des longueurs de séquence de 10k, 20k et 30k tokens par rapport aux versions précédentes.

Cette optimisation améliore les performances d'inférence sur les appareils Apple Silicon en améliorant les modèles d'accès mémoire pour le Lightning Indexer.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10208 ajoute l'attention flash GEMM oneMKL pour le traitement des prompts accéléré par XMX

La version b10208 de llama.cpp introduit le support SYCL pour l'attention flash GEMM oneMKL, permettant l'accélération matérielle XMX pour le traitement des prompts. Ce changement améliore considérablement la vitesse d'inférence sur les GPU Intel Arc en utilisant des noyaux MKL au lieu du chemin TILE par défaut.

github llama.cpp · il y a 5 j · 1 vue

llama.cpp b10181 désactive MMQ sur les appareils ayant moins de 48 KiB de mémoire partagée

Le projet llama.cpp a publié la version b10181, qui inclut une correction dans ggml-cuda pour désactiver la Quantification de Multiplication Matricielle (MMQ) sur les GPU disposant de moins de 48 KiB de mémoire partagée par bloc. Auparavant, les configurations MMQ supposaient un minimum de 48 KiB, provoquant des erreurs fatales sur des appareils tels que les GPU NVIDIA Pascal et Moore Threads MTT S70 où la taille du tuile dépassait la mémoire disponible.

media Hugging Face Forums · il y a 5 j

Hugging Face corrige DynamicCache pour éviter les sorties incorrectes dans generate()

Un bug dans la fonction `generate()` de Hugging Face provoque des sorties incorrectes lorsque `past_key_values` est un `DynamicCache` construit externement. Ce problème affecte les méthodes de compression de cache KV comme SnapKV, H2O et KIVI qui reconstruisent les caches à partir de données de préremplissage. La cause racine est l'échec de la propagation du contexte positionnel, entraînant une perte de précision de 10,7 points de pourcentage sur Qwen3-VL-8B.

github llama.cpp · il y a 6 j · 19 vues

llama.cpp b10165 ajoute le support iq4_nl et q1_0 à Vulkan FA

Le projet llama.cpp a publié la compilation b10165, qui restaure le support de quantification iq4_nl pour le backend Flash Attention (FA) Vulkan. Ce changement résout le problème #23681 en réactivant la fonctionnalité après que les préoccupations concernant l'utilisation de la mémoire partagée aient été jugées négligeables.

github llama.cpp · il y a 6 j

llama.cpp b10164 ajoute la multiplication matricielle SSD fractionnée pour accélérer le préremplissage de Mamba-2

Le projet llama.cpp a publié la version b10164, introduisant une nouvelle implémentation de multiplication matricielle SSD fractionnée conçue pour accélérer la phase de préremplissage des modèles Mamba-2.