github llama.cpp · il y a 2 j · inference

llama.cpp b11013 corrige l'alignement de buffer_reference dans les shaders im2col pour Vulkan

Traduit de English → Français

La version llama.cpp b11013 traite une erreur de validation dans Vulkan en corrigeant l'alignement de buffer_reference dans les shaders im2col et im2col_3d. La correction résout le problème #28960 en alignant le pas du pointeur sur les tailles d'écriture réelles, éliminant ainsi les déclenchements de GPU-AV.

Corrige VUID-RuntimeSpirv-PhysicalStorageBuffer64-06315 déclenché par des écritures mal alignées dans im2col.comp et im2col_3d.comp.
Définit buffer_reference_align = D_SIZE pour correspondre à la définition par variante pour float (4) et float16_t (2).
Réduit les déclenchements de validation de 20 à 0 pour les opérations IM2COL et IM2COL_3D.

Ce changement garantit un comportement correct de validation Vulkan pour l'inférence accélérée par GPU sur les plateformes prises en charge.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b11044 met à jour hexagon im2col et publie des binaires

Le projet llama.cpp a publié la version b11044, qui comprend une mise à jour du backend hexagon pour améliorer les opérations image-to-column (im2col). La publication fournit des binaires précompilés pour macOS, Linux, Windows, Android et openEuler sur CPU, GPU et autres accélérateurs matériels.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b11045 ajoute le support de l'opération ROLL au backend Hexagon

Le projet llama.cpp a publié la version b11045, qui introduit le support de l'opération ROLL dans le backend Hexagon.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b11043 permet flash-attention HMX avec head_dim=72

Le projet llama.cpp a publié la version b11043, qui inclut une modification de l'implémentation de flash-attention HMX. Cette mise à jour active le support pour des dimensions de tête qui ne sont pas des multiples de 64, permettant spécifiquement des configurations comme head_dim=72 de SigLIP.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp b11042 ajoute le noyau binaire OpenCL A8 Q6_K

Le projet llama.cpp a publié la version b11042, qui introduit un nouveau noyau binaire OpenCL pour les modèles A8 Q6_K non-MoE. Cette mise à jour comprend également des correctifs de compatibilité de disposition au sein du backend OpenCL.