github llama.cpp · il y a 1 j · inference

llama.cpp b11095 ajoute GATED_DELTA_NET optimisé pour HMX et réduit les lectures DDR

Traduit de English → Français

La version llama.cpp b11095 introduit une nouvelle implémentation de GATED_DELTA_NET (GDN) optimisée pour HMX, ainsi que diverses optimisations pour les noyaux Hexagon et Flash Attention.

La prise en charge de GDN comprend le pipeline, le multithreading HVX et les opérations vectorisées pour améliorer les performances sur les puces Qualcomm.
Les mises à jour de Flash Attention réduisent les lectures DDR de 20 à 30 % lors de la génération de tokens grâce à l'accumulation dans les registres et aux améliorations du pipeline DMA.
La version fournit des binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, CUDA, ROCm, Vulkan et OpenVINO.

Cette mise à jour améliore l'efficacité de l'inférence sur des architectures matérielles spécifiques tout en maintenant une large compatibilité avec les environnements de déploiement existants.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 1 h · 11 vues En direct

llama.cpp b11120 masque les symboles internes de Vulkan pour corriger la destruction de l'état

Le projet llama.cpp a publié la version b11120, qui corrige un bug critique dans le backend Vulkan en masquant les symboles internes. Ce changement empêche les problèmes de destruction d'état dus à des appels dupliqués à dlopen qui survenaient lorsque les symboles internes étaient exportés.

arxiv arXiv cs.AI · il y a 4 h · 9 vues

CliffCompaction réduit de 50 % les coûts des agents de codage tout en maintenant la performance

Les chercheurs présentent CliffCompaction, une technique d'autocompaction conçue pour réduire les coûts des agents de codage à long terme jusqu'à 50 % dans un contexte borné. La méthode maintient ou améliore la performance sur Terminal-Bench et atteint des résultats de pointe sur KernelBench en conservant une information compacte fidèle par troncature plutôt que par reformulation.

arxiv arXiv cs.LG · il y a 5 h · 9 vues

CliffCompaction réduit les coûts des agents de codage à long terme jusqu'à 50 % tout en maintenant les performances

Les chercheurs présentent CliffCompaction, une technique d'autocompaction conçue pour les agents traitant des millions de tokens, qui réduit les coûts jusqu'à 50 % dans un contexte borné. La méthode maintient ou améliore les performances sur Terminal-Bench et atteint des résultats de pointe sur KernelBench en conservant la fidélité de l'information par troncature plutôt que par reformulation.

github llama.cpp · il y a 6 h · 13 vues

llama.cpp b11118 introduit un cache DMA à mappage direct pour la gestion des masques FA HVX

Le projet llama.cpp a publié la version b11118, qui inclut une nouvelle fonctionnalité hex-dma introduisant un cache DMA à mappage direct mieux adapté à la gestion des masques FA Hexagon Vector eXtended (HVX).