github llama.cpp · il y a 2 h · inference

llama.cpp b10728 ajoute le flash attention avec XOR swizzle CUDA et corrige une condition de course sur la mémoire partagée

Traduit de English → Français

La version llama.cpp b10728 introduit une implémentation CUDA du XOR swizzle pour les tuiles fp16 K,V de mémoire partagée de Flash Attention. Cette mise à jour résout également une condition de course sur la mémoire partagée de Flash Attention sur le matériel DGX Spark.

Implémente le flash attention avec XOR swizzle et des tuiles fp16 pour CUDA.
Corrige l'utilisation d'un pointeur générique 64 bits au lieu d'un pointeur partagé 32 bits.
Ajoute des cas de test pour le swizzle et limite la synchronisation uniquement au chemin swizzlé.
Autorise le swizzling pour les formes non puissances de 2 où nbatch_2%32==0.
Refactorise la logique ldmatrix du swizzle Flash Attention en fonctions utilitaires.

La version fournit des binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, CUDA, Vulkan, ROCm, OpenVINO et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Microsoft publie GigaPath-Flash et GigaTIME-Flash pour des modèles de base en pathologie efficaces

Microsoft Research a publié GigaPath-Flash et GigaTIME-Flash, des variantes efficaces de ses modèles de base en pathologie conçues pour permettre une découverte à l'échelle de la population en réduisant drastiquement les exigences computationnelles.

github llama.cpp · il y a 3 h · 3 vues

llama.cpp b10727 ajoute le support de la concaténation pour les types quantifiés

Le projet llama.cpp a publié la version b10727, qui introduit le support de la concaténation pour les types de données quantifiés. Cette mise à jour est assistée par DeepSeek-V4-Flash-0731 et inclut des binaires pour macOS, Linux, Windows, Android et openEuler sur divers backends matériels incluant CPU, CUDA, ROCm et Vulkan.

github llama.cpp · il y a 5 h · 6 vues

llama.cpp b10726 accélère le traitement des prompts de modèles IQ en grands lots avec AVX2

Le projet llama.cpp a publié la version b10726, qui introduit des optimisations de performance significatives pour traiter de grandes tailles de lots dans les modèles quantifiés IQ. La mise à jour principale exploite les instructions AVX2 pour accélérer les quants IQ de grille via des opérations GEMM par lot.

github llama.cpp · il y a 6 h · 2 vues

llama.cpp b10724 optimise la restauration de l'état kv-cache pour réduire le nombre de copies de 1,3M à 224

Le projet llama.cpp a publié la compilation b10724, qui améliore considérablement les performances de restauration des cellules KV cache non contiguës en regroupant les lectures scatter par exécution continue.

github llama.cpp · il y a 7 h · 5 vues

llama.cpp b10723 ajuste les chemins de quantification OpenCL pour les GPU Intel Xe-LP

Le projet llama.cpp a publié la version b10723, qui inclut des optimisations spécifiques pour OpenCL sur le matériel graphique Intel Xe-LP. La mise à jour se concentre sur l'amélioration des performances de génération de tenseurs (TG) et de pré-remplissage (PP) en ajustant les noyaux de quantification.