github llama.cpp · il y a 1 h · inference

llama.cpp b10249 ajoute l'outil get_info au serveur

Traduit de English → Français

Le projet llama.cpp a publié la version b10249, qui introduit un nouvel outil `get_info` dans le composant serveur. Cette mise à jour comprend également des corrections de documentation pour le drapeau `--rpc`.

Le serveur expose désormais un outil `get_info` pour récupérer les informations système.
La gestion du résultat de la sonde a été renforcée pour signaler 'unknown' (inconnu) lorsque le processus échoue ou dépasse le délai, empêchant le texte de diagnostic d'être interprété à tort comme un nom de système d'exploitation.
Le nettoyage de la sortie et les limites de délai d'attente ont été ajoutés pour garantir un traitement propre des données.
La version fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) et openEuler.

Cette version rend l'outil `get_info` disponible pour le diagnostic côté serveur tout en fournissant des binaires mis à jour sur toutes les plateformes prises en charge.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · il y a 2 h

llama.cpp b10247 corrige les plantages avec les modèles MoE larges en utilisant l'allocation dynamique

Le projet llama.cpp a publié la version b10247, qui résout des problèmes de stabilité lors du chargement de grands modèles Mixture of Experts (MoE) sur des configurations multi-backend. La mise à jour remplace les tableaux de taille fixe dans le planificateur backend par des tampons alloués dynamiquement pour gérer les divisions de graphe dépassant 30 tenseurs d'entrée.

github llama.cpp · il y a 3 h

llama.cpp b10246 route les grands lm_head q6_K vers GEMV plat

Le projet llama.cpp a publié la version b10246, qui inclut une correction pour les performances d'OpenCL sur des configurations de modèles spécifiques. La mise à jour résout un problème où la condition de dimension originale était insuffisante pour gérer de grands poids.

github llama.cpp · il y a 8 h · 2 vues

llama.cpp b10242 ajoute un échantillonneur de backend CUDA pour les pénalités

Le projet llama.cpp a publié la version b10242, introduisant un nouvel échantillonneur de backend pour les pénalités qui permet de décharger le traitement des pénalités vers le GPU. Ce changement améliore la fonction `common_sampler_init` et met à jour la structure `llama_sampler_penalties` pour qu'elle hérite de `llama_sampler_backend`, permettant des ajustements de fréquence et de présence sur le backend.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10241 corrige les data-races SMEM dans block_reduce pour CUDA

Le projet llama.cpp a publié la version b10241, qui résout un bug critique dans le backend CUDA. La mise à jour corrige les data-races survenant lors de la réutilisation de la mémoire partagée (SMEM) pendant les réductions par blocs.

media Hugging Face Forums · il y a 14 h · 1 vue

Quesma publie une carte curatée de 218 outils et articles pour l'efficacité du coût des tokens LLM

Quesma a publié une liste ouverte et curatée contenant 218 entrées qui suivent où les tokens sont dépensés dans les flux de travail LLM et agents. La ressource couvre la surveillance, le cache sémantique, les modèles locaux bon marché, l'ingénierie du contexte et la gouvernance des coûts.