github llama.cpp · il y a 3 h · inference

llama.cpp b11043 permet flash-attention HMX avec head_dim=72

Traduit de English → Français

Le projet llama.cpp a publié la version b11043, qui inclut une modification de l'implémentation de flash-attention HMX. Cette mise à jour active le support pour des dimensions de tête qui ne sont pas des multiples de 64, permettant spécifiquement des configurations comme head_dim=72 de SigLIP.

Le noyau flash-attention HMX fonctionne désormais avec DK/DV arrondis à la hausse vers 64 avec des voies de queue remplies de zéros.
Des binaires précompilés sont disponibles pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android et openEuler.

Ce changement permet aux utilisateurs d'exécuter des modèles avec des dimensions de tête non standard sur du matériel pris en charge sans problèmes de compatibilité.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b11044 met à jour hexagon im2col et publie des binaires

Le projet llama.cpp a publié la version b11044, qui comprend une mise à jour du backend hexagon pour améliorer les opérations image-to-column (im2col). La publication fournit des binaires précompilés pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et autres accélérateurs matériels.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b11045 ajoute le support de l'opération ROLL au backend Hexagon

Le projet llama.cpp a publié la version b11045, qui introduit le support de l'opération ROLL dans le backend Hexagon.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp b11042 ajoute le noyau binaire OpenCL A8 Q6_K

Le projet llama.cpp a publié la version b11042, qui introduit un nouveau noyau binaire OpenCL pour les modèles A8 Q6_K non-MoE. Cette mise à jour comprend également des correctifs de compatibilité de disposition au sein du backend OpenCL.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b11039 ajoute le support du motif SWA au model-saver et aux chargeurs

Le projet llama.cpp a publié la version b11039, qui met à jour le model-saver pour écrire les motifs d'attention à fenêtre glissante (SWA) et la géométrie MLA SWA pour tous les modèles utilisant SWA. Cette modification garantit que le `sliding_window_pattern` est écrit comme un indicateur par couche plutôt que d'être réduit à une valeur scalaire, préservant ainsi la représentation exacte des données.