github llama.cpp · il y a 3 j · inference

llama.cpp b11064 prend en charge hc arbitraire dans dsv4_hc_pre

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11064, qui modifie le backend metal pour prendre en charge des comptes de têtes (hc) arbitraires dans le noyau dsv4_hc_pre. Auparavant, ces noyaux avaient hc = 4 codé en dur, ce qui faisait que les opérations avec d'autres comptes de têtes basculaient vers l'exécution sur CPU.

Le changement transmet n_hc comme une constante de fonction et effectue une boucle dessus dans les deux noyaux prévia avec des chargements directs.
Des cas de test-backend-ops ont été ajoutés pour les valeurs de hc 1, 2, 3, 5, 8 et 65, couvrant à la fois les scénarios avec gating et sans gating.
Cette mise à jour permet aux modèles comme Kimi-K3 de s'exécuter efficacement sur GPU en prenant en charge des comptes de checkpoints par banque dynamiques dans la pile résiduelle entre couches croisées.

La version inclut des binaires pour macOS, Linux, Windows, Android et openEuler via divers backends matériels incluant CPU, CUDA, ROCm, Vulkan, OpenVINO et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · à l'instant · 1 vue En direct

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 1 h · 11 vues En direct

llama.cpp b11120 masque les symboles internes de Vulkan pour corriger la destruction de l'état

Le projet llama.cpp a publié la version b11120, qui corrige un bug critique dans le backend Vulkan en masquant les symboles internes. Ce changement empêche les problèmes de destruction d'état dus à des appels dupliqués à dlopen qui survenaient lorsque les symboles internes étaient exportés.

arxiv arXiv cs.AI · il y a 4 h · 9 vues

CliffCompaction réduit de 50 % les coûts des agents de codage tout en maintenant la performance

Les chercheurs présentent CliffCompaction, une technique d'autocompaction conçue pour réduire les coûts des agents de codage à long terme jusqu'à 50 % dans un contexte borné. La méthode maintient ou améliore la performance sur Terminal-Bench et atteint des résultats de pointe sur KernelBench en conservant une information compacte fidèle par troncature plutôt que par reformulation.

arxiv arXiv cs.LG · il y a 5 h · 9 vues

CliffCompaction réduit les coûts des agents de codage à long terme jusqu'à 50 % tout en maintenant les performances

Les chercheurs présentent CliffCompaction, une technique d'autocompaction conçue pour les agents traitant des millions de tokens, qui réduit les coûts jusqu'à 50 % dans un contexte borné. La méthode maintient ou améliore les performances sur Terminal-Bench et atteint des résultats de pointe sur KernelBench en conservant la fidélité de l'information par troncature plutôt que par reformulation.

github llama.cpp · il y a 6 h · 13 vues

llama.cpp b11118 introduit un cache DMA à mappage direct pour la gestion des masques FA HVX

Le projet llama.cpp a publié la version b11118, qui inclut une nouvelle fonctionnalité hex-dma introduisant un cache DMA à mappage direct mieux adapté à la gestion des masques FA Hexagon Vector eXtended (HVX).