github llama.cpp · il y a 1 h · inference

llama.cpp b11403 utilise MMVF pour mul_mat f16/bf16 fin à petit batch

Traduit de English → Français

Le projet llama.cpp a publié la version b11403, qui inclut une optimisation CUDA pour utiliser le noyau MMVF pour les multiplications de matrices f16 et bf16 fines à de petites tailles de lot.

Logique de sélection du noyau ajustée pour améliorer les performances sur les GPU NVIDIA.
Binaires fournis pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android et openEuler.
XCFramework iOS et builds UI inclus aux côtés des binaires standard.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11405 carre le indexeur éclair sur les clés et les tokens pour 4 têtes

La version llama.cpp b11405 met à jour le backend CUDA en carrelant l'indexeur éclair sur les clés et les tokens pour 4 têtes, résolvant des problèmes de performance avec de faibles nombres de têtes.

github llama.cpp · il y a 19 h · 28 vues

llama.cpp b11390 corrige une erreur de mémoire CUDA MMQ

Le projet llama.cpp a publié la version b11390, qui inclut une correction pour une erreur de mémoire CUDA MMQ survenant lorsque le nombre d'experts était significativement supérieur à la taille du micro-lot.

github llama.cpp · il y a 2 j · 24 vues

llama.cpp b11375 corrige les aborts de réallocation de graphe sous GGML_SCHED_NO_REALLOC

Le projet llama.cpp a publié la build b11375, qui résout un problème critique où des cellules ubatch non contiguës forçaient des réallocations de graphe qui étaient interrompues lorsque le drapeau GGML_SCHED_NO_REALLOC était défini.

github llama.cpp · il y a 2 j · 29 vues

llama.cpp b11372 divise par deux la mémoire de l'indexeur qwen4exp et ajoute le support CUDA pour 4 têtes

La version b11372 de llama.cpp introduit des optimisations pour l'indexeur éclair du modèle qwen4exp, réduisant principalement de moitié la mémoire requise pour les scores de l'indexeur lors du traitement de contextes longs. Cela est obtenu en calculant les scores des têtes sur place plutôt qu'en matérialisant des tenseurs séparés pour chaque tête.

github llama.cpp · il y a 2 j · 30 vues

llama.cpp b11368 ajoute l'échantillonnage probabiliste pour le brouillon simple et MTP

Le projet llama.cpp a publié la compilation b11368, qui introduit l'échantillonnage probabiliste pour les flux de travail de brouillon simple et MTP (Multi-Token Prediction). Cette mise à jour modifie le mécanisme de brouillon pour utiliser une sélection probabiliste tout en vérifiant les cibles par échantillonnage par rejet.