github llama.cpp · il y a 1 h · inference

llama.cpp b10293 ajoute l'intégration continue ROCm pour gfx1151 et corrige l'inférence sur RDNA3.5

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10293, qui inclut l'intégration continue AMD ROCm pour l'architecture gfx1151 et résout les problèmes de correction sur les GPU intégrés RDNA3.5.

Corrige test-recurrent-state-rollback sur gfx1151 en autorisant les tampons de sortie hôte du GPU intégré dans les assertions de débogage.
Restaure la correction de l'inférence sur RDNA3.5 en activant la mémoire unifiée pour contourner les problèmes de cohérence du GPU avec les poids chargés via mmap.
Traite les erreurs d'exécution asynchrone dans le chemin HIP en utilisant HIP_LAUNCH_BLOCKING=1 pour sérialiser les lancements de noyaux.
Ignore les tests de l'architecture jamba et les sous-tests top-k sur le backend HIP en raison d'opérations non prises en charge et d'une sortie incorrecte.

Cette mise à jour permet des tests et une inférence fiables des modèles llama.cpp sur le matériel AMD RDNA3.5 via ROCm.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.

github llama.cpp · il y a 2 j

llama.cpp b10246 route les grands lm_head q6_K vers GEMV plat

Le projet llama.cpp a publié la version b10246, qui inclut une correction pour les performances d'OpenCL sur des configurations de modèles spécifiques. La mise à jour résout un problème où la condition de dimension originale était insuffisante pour gérer de grands poids.

github llama.cpp · il y a 3 j · 6 vues

llama.cpp b10236 implémente le DSv4 Lightning Indexer Metal

La version llama.cpp b10236 introduit une implémentation Metal du DSv4 Lightning Indexer, prenant spécifiquement en charge les entrées de 128 dimensions avec des requêtes et poids F32 ainsi que des clés et masques F16.

github llama.cpp · il y a 6 j · 8 vues

llama.cpp b10208 ajoute l'attention flash GEMM oneMKL pour le traitement des prompts accéléré par XMX

La version b10208 de llama.cpp introduit le support SYCL pour l'attention flash GEMM oneMKL, permettant l'accélération matérielle XMX pour le traitement des prompts. Ce changement améliore considérablement la vitesse d'inférence sur les GPU Intel Arc en utilisant des noyaux MKL au lieu du chemin TILE par défaut.

github llama.cpp · il y a 8 j · 2 vues

llama.cpp b10181 désactive MMQ sur les appareils ayant moins de 48 KiB de mémoire partagée

Le projet llama.cpp a publié la version b10181, qui inclut une correction dans ggml-cuda pour désactiver la Quantification de Multiplication Matricielle (MMQ) sur les GPU disposant de moins de 48 KiB de mémoire partagée par bloc. Auparavant, les configurations MMQ supposaient un minimum de 48 KiB, provoquant des erreurs fatales sur des appareils tels que les GPU NVIDIA Pascal et Moore Threads MTT S70 où la taille du tuile dépassait la mémoire disponible.