github llama.cpp · il y a 1 h · inference

llama.cpp b10985 restreint le cache hash RPC aux poids

Traduit de English → Français

Le projet llama.cpp a publié la version b10985, qui modifie le backend RPC pour limiter le stockage en cache basé sur le hachage exclusivement aux tenseurs de poids. Cette modification résout un problème où les données d'activation étaient inutilement hashées et stockées, entraînant une utilisation excessive du disque.

Les fonctions `ggml_backend_rpc_buffer_set_tensor` et `ggml_backend_rpc_set_tensor_async` ne hashent désormais que les transferts pour les tampons marqués avec `GGML_BACKEND_BUFFER_USAGE_WEIGHTS`.
Un nouveau byte `cache_flag` dans le message SET_TENSOR indique quand une entrée de cache doit être sauvegardée, remplaçant la logique précédente de l'état en attente côté serveur.

Cette optimisation empêche les données de calcul de remplir l'espace disque en s'assurant que seuls les poids sont mis en cache via le chemin hash.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10984 ajoute le support CUDA pour SUM_ROWS contigu par ligne

Le projet llama.cpp a publié la version b10984, introduisant le support CUDA pour les opérations SUM_ROWS contiguës par ligne. Cette mise à jour organise également le code pour inclure GGML_OP_MEAN afin de gérer les tenseurs contigus par ligne via un noyau partagé.

github llama.cpp · il y a 3 h · 2 vues

llama.cpp b10981 corrige le décodage d'état pour Gemma-4 et optimise l'inférence GPU MoE

La version b10981 de llama.cpp résout des problèmes critiques de correction dans le chemin de décodage d'état du backend OpenVINO, en corrigeant spécifiquement la prise en charge des modèles comme Gemma-4 qui utilisent des tailles de tête par couche. Elle introduit également des optimisations pour l'inférence GPU Mixture of Experts (MoE) et améliore les performances grâce à des réorganisations d'état KV.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp ajoute des noyaux Metal FA pour HSK=96, HSV=64 de MiniCPM3

Le projet llama.cpp a ajouté la prise en charge du noyau Flash Attention (FA) pour la configuration spécifique utilisée par MiniCPM3 sur Apple Silicon. Cette modification corrige un plantage où le drapeau `-fa auto` s'arrêtait en raison d'une instanciation de noyau manquante pour la longueur de clé d'attention 96 et la longueur de valeur 64.

github llama.cpp · il y a 18 h · 3 vues

La version b10970 de llama.cpp utilise l'accumulation fp32 sur les appareils MFMA

Le projet llama.cpp a publié la version b10970, qui inclut une mise à jour technique du backend fattn-mma. Ce changement implémente l'utilisation d'accumulateurs fp32 spécifiquement pour les dispositifs de l'architecture CDNA.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10956 ajoute la sélection radix pour les grandes valeurs de k dans le top_k SYCL

La version b10956 de llama.cpp introduit un algorithme de sélection radix pour le backend SYCL afin de gérer les grandes valeurs de k dans l'opération TOP_K, qui précédemment recourait au CPU pour k > 32. Ce changement permet le traitement des grandes valeurs de k directement sur le GPU en utilisant des passes basées sur des histogrammes, ce qui maintient l'emprise mémoire locale partagée indépendante de k.