github llama.cpp · il y a 3 j · inference

llama.cpp b10932 corrige les problèmes de horodatage des en-têtes précompilés sur Clang

Traduit de English → Français

Le projet llama.cpp a publié la version b10932, qui résout un échec de compilation lié aux en-têtes précompilés lors de l'utilisation du compilateur Clang. La mise à jour modifie CMake pour exclure les horodatages de modification des en-têtes précompilés, empêchant ainsi les erreurs de compilation lors de la restauration des en-têtes mis en cache depuis différents checkouts.

Corrige le refus de Clang d'accepter les en-têtes précompilés en raison d'horodatages de modification du code source non correspondants.
S'applique aux compilateurs traités comme MSVC par ccache, y compris clang-cl et les pilotes Intel LLVM.
Fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android et iOS.

Ce changement garantit que les compilations restent stables lors de l'utilisation de ccache ou de la restauration des en-têtes mis en cache entre différents checkouts du dépôt.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10984 ajoute le support CUDA pour SUM_ROWS contigu par ligne

Le projet llama.cpp a publié la version b10984, introduisant le support CUDA pour les opérations SUM_ROWS contiguës par ligne. Cette mise à jour organise également le code pour inclure GGML_OP_MEAN afin de gérer les tenseurs contigus par ligne via un noyau partagé.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b10985 restreint le cache hash RPC aux poids

Le projet llama.cpp a publié la version b10985, qui modifie le backend RPC pour limiter le stockage en cache basé sur le hachage exclusivement aux tenseurs de poids. Cette modification résout un problème où les données d'activation étaient inutilement hashées et stockées, entraînant une utilisation excessive du disque.

github llama.cpp · il y a 3 h · 4 vues

llama.cpp b10982 ajoute le support de l'attention Flash sparse Vulkan pour DSV4/GLM

Le projet llama.cpp a publié la version b10982, qui introduit le support de l'attention Flash sparse via le backend Vulkan. Cette mise à jour cible spécifiquement les modèles DSV4 et GLM, leur permettant d'exploiter les mécanismes d'attention sparse sur du matériel GPU compatible.

github llama.cpp · il y a 4 h · 2 vues

llama.cpp b10981 corrige le décodage d'état pour Gemma-4 et optimise l'inférence GPU MoE

La version b10981 de llama.cpp résout des problèmes critiques de correction dans le chemin de décodage d'état du backend OpenVINO, en corrigeant spécifiquement la prise en charge des modèles comme Gemma-4 qui utilisent des tailles de tête par couche. Elle introduit également des optimisations pour l'inférence GPU Mixture of Experts (MoE) et améliore les performances grâce à des réorganisations d'état KV.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp ajoute des noyaux Metal FA pour HSK=96, HSV=64 de MiniCPM3

Le projet llama.cpp a ajouté la prise en charge du noyau Flash Attention (FA) pour la configuration spécifique utilisée par MiniCPM3 sur Apple Silicon. Cette modification corrige un plantage où le drapeau `-fa auto` s'arrêtait en raison d'une instanciation de noyau manquante pour la longueur de clé d'attention 96 et la longueur de valeur 64.