github llama.cpp · il y a 9 h · inference

llama.cpp b10758 ajoute la fusion MUL_MAT et MUL_MAT_ID pour Hexagon

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10758, introduisant les capacités de fusion MUL_MAT et MUL_MAT_ID pour le DSP Hexagon. Cette mise à jour comprend également plusieurs correctifs pour améliorer la stabilité et les performances sur le matériel Qualcomm.

Fusionne les multiplications matricielles QKV et FFN qui aboutissent à HMX.
Supprime la restriction codée en dur ne[1] < 32K.
Corrige le dimensionnement des frais généraux pour éviter de dépasser le budget vtcm pour les grandes dimensions.
Fusionne MUL_MAT_ID dans les variantes MUL_MAT_ID_NX lorsque cela est possible.
Met à jour le dimensionnement de opbatch et opqueue pour réduire la surcharge d'allocation du tampon de traçage.
Ajoute la défragmentation de l'espace d'adressage virtuel pour éviter les aborts dus à la fragmentation.

Ces modifications optimisent l'utilisation de la mémoire et l'efficacité d'exécution pour les appareils basés sur Hexagon.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10766 ajoute le support de la vision pour DeepSeek 4

Le projet llama.cpp a publié la compilation b10766, qui inclut une correction pour prendre correctement en charge l'entrée visuelle du modèle DeepSeek 4.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10762 ajoute le support de DeepSeek-V4-Flash-Vision-Exp

Le projet llama.cpp a publié la compilation b10762, qui introduit le support pour le modèle DeepSeek-V4-Flash-Vision-Exp. Cette mise à jour inclut également la gestion des comptes minimum et maximum de tokens depuis l'interface en ligne de commande.

github llama.cpp · il y a 9 h · 3 vues

llama.cpp b10759 évite l'initialisation du type de tampon KleidiAI lors de la distribution

Le projet llama.cpp a publié la compilation b10759, qui inclut une correction pour éviter l'initialisation du type de tampon KleidiAI lors de la distribution.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10756 restreint la demande d'extension Vulkan shader_bfloat16

Le projet llama.cpp a publié la compilation b10756, qui modifie le comportement du backend Vulkan pour ne demander l'extension VK_KHR_shader_bfloat16 que lorsqu'elle est prise en charge par le matériel.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10757 améliore les performances de mat-vec IQ3_S pour Vulkan avec des tailles de lot plus grandes

Le projet llama.cpp a publié la compilation b10757, qui inclut une optimisation spécifique pour le backend Vulkan. Cette mise à jour gère efficacement des tailles de lot supérieures à 4 pour la multiplication matrice-vecteur IQ3_S lorsque NUM_COLS est supérieur à 4.