github llama.cpp · il y a 1 h · inference

llama.cpp b10331 corrige get_info du serveur pour signaler correctement le répertoire de travail isolé

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10331, qui inclut une correction pour l'endpoint `get_info` du serveur. Auparavant, lorsqu'aucun répertoire de travail actuel explicite n'était fourni, la fonction tombait incorrectement sur le répertoire de travail du processus du serveur, même si un tools runtime était configuré.

Le serveur demande désormais à l'isolé son répertoire de travail lorsque un tools runtime est actif, garantissant que le chemin correct est signalé.
Il conserve le répertoire de travail du processus uniquement lorsque les outils s'exécutent directement sur l'hôte.
Un commentaire redondant a été supprimé de la base de code.

Ce changement garantit que les chemins d'exécution des outils sont reflétés avec précision dans les réponses d'information du serveur, empêchant les problèmes où les chemins d'hôte nommés ne correspondaient pas à l'environnement réel de l'isolé.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10330 fusionne rms_norm, mul et rope sur CUDA

Le projet llama.cpp a publié la version b10330, introduisant une optimisation CUDA qui fusionne les opérations rms_norm, multiplication et RoPE en un seul noyau. Ce changement est accompagné de vérifications de plage de mémoire pour les opérations fusionnées et de nouveaux cas de test pour les poids de diffusion.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b10328 ajoute l'isolation initiale des outils du serveur via Docker

Le projet llama.cpp a publié la compilation b10328, qui introduit le support initial pour isoler les outils au sein du composant serveur en utilisant Docker. Cette mise à jour inclut la documentation et des adaptations de code pour séparer les bac à sable d'E/S des outils et renommer les indicateurs de configuration pertinents.

github llama.cpp · il y a 19 h · 1 vue

llama.cpp b10327 corrige le nombre de threads/blocs dans le noyau de copie quantifiée

Le projet llama.cpp a publié la version b10327, qui inclut une correction pour le nombre de threads et de blocs lors des lancements du noyau de copie quantifiée sur CUDA. Cette mise à jour traite d'un problème identifié dans la pull request #26731.

github llama.cpp · il y a 1 j

llama.cpp b10326 prend en compte le passage du vocoder dans les temps

Le projet llama.cpp a publié la compilation b10326, qui modifie le calcul des mesures de temps en incluant le passage du vocoder.

github llama.cpp · il y a 1 j

llama.cpp b10321 corrige NORM/RMS_NORM pour les longueurs de lignes partielles simdgroup

Le projet llama.cpp a publié la version b10321, qui inclut une correction critique pour les opérations GGML_OP_NORM et GGML_OP_RMS_NORM sur Metal. La mise à jour résout un problème où des threadgroups dont la taille laissait un groupe SIMD partiel entraînaient des calculs incorrects de moyenne et de variance en raison de sommes partielles perdues.