github llama.cpp · il y a 1 h · inference

llama.cpp b10247 corrige les plantages avec les modèles MoE larges en utilisant l'allocation dynamique

Traduit de English → Français

Le projet llama.cpp a publié la version b10247, qui résout des problèmes de stabilité lors du chargement de grands modèles Mixture of Experts (MoE) sur des configurations multi-backend. La mise à jour remplace les tableaux de taille fixe dans le planificateur backend par des tampons alloués dynamiquement pour gérer les divisions de graphe dépassant 30 tenseurs d'entrée.

Remplace GGML_SCHED_MAX_SPLIT_INPUTS par une allocation dynamique pour les entrées du graphe divisé.
Corrige les plantages lors du chargement de modèles MoE larges tels que Gemma 4, Qwen MoE, Mixtral et DeepSeek.
Met à jour le calcul de graph_size pour utiliser le nombre réel d'entrées au lieu d'une constante fixe.
Fournit des binaires pour macOS (Apple Silicon/Intel), Linux (CPU/Vulkan/ROCm/OpenVINO/SYCL), Windows (CPU/CUDA/Vulkan/OpenVINO/SYCL/HIP), Android et iOS.

Ce changement permet aux utilisateurs d'exécuter des architectures MoE complexes sans rencontrer de plantages liés au planificateur sur les systèmes disposant de plusieurs périphériques backend.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · il y a 2 h

llama.cpp b10246 route les grands lm_head q6_K vers GEMV plat

Le projet llama.cpp a publié la version b10246, qui inclut une correction pour les performances d'OpenCL sur des configurations de modèles spécifiques. La mise à jour résout un problème où la condition de dimension originale était insuffisante pour gérer de grands poids.

github llama.cpp · il y a 7 h · 2 vues

llama.cpp b10242 ajoute un échantillonneur de backend CUDA pour les pénalités

Le projet llama.cpp a publié la version b10242, introduisant un nouvel échantillonneur de backend pour les pénalités qui permet de décharger le traitement des pénalités vers le GPU. Ce changement améliore la fonction `common_sampler_init` et met à jour la structure `llama_sampler_penalties` pour qu'elle hérite de `llama_sampler_backend`, permettant des ajustements de fréquence et de présence sur le backend.

github llama.cpp · il y a 10 h · 1 vue

llama.cpp b10241 corrige les data-races SMEM dans block_reduce pour CUDA

Le projet llama.cpp a publié la version b10241, qui résout un bug critique dans le backend CUDA. La mise à jour corrige les data-races survenant lors de la réutilisation de la mémoire partagée (SMEM) pendant les réductions par blocs.

media Hugging Face Forums · il y a 13 h · 1 vue

Quesma publie une carte curatée de 218 outils et articles pour l'efficacité du coût des tokens LLM

Quesma a publié une liste ouverte et curatée contenant 218 entrées qui suivent où les tokens sont dépensés dans les flux de travail LLM et agents. La ressource couvre la surveillance, le cache sémantique, les modèles locaux bon marché, l'ingénierie du contexte et la gouvernance des coûts.

github llama.cpp · il y a 16 h

llama.cpp b10238 ajoute le support MTP pour Qwen3-Next

Le projet llama.cpp a publié la compilation b10238, qui introduit le support de Multi-Token Prediction (MTP) pour la famille de modèles Qwen3-Next. Cette mise à jour comprend des modifications spécifiques de l'implémentation pour gérer les couches MTP et des correctifs liés à la vérification des types Python dans la base de code.