github llama.cpp · il y a 1 h · inference

llama.cpp b10298 ajoute la fonction de sauvegarde/chargement de chunks pour mtmd

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10298, qui introduit une nouvelle fonction de sauvegarde et de chargement de chunks pour le module mtmd. Cette mise à jour comprend également un nettoyage du code et des tests supplémentaires.

Ajout de la fonctionnalité de sauvegarde/chargement de chunks au module mtmd.
Inclusion de petites corrections de code et d'ajouts de tests.
Renommage des constantes internes de _MAX à _COUNT.

La version fournit des binaires pour macOS, Linux, Windows, Android et openEuler sur divers backends matériels incluant CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL et HIP.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10282 ajoute des compteurs spec-decode au point de terminaison /metrics

Le projet llama.cpp a publié la version b10282, qui introduit de nouvelles capacités de surveillance pour le décodage spéculatif. Le serveur inclut désormais des compteurs spec-decode dans son point de terminaison /metrics, permettant aux utilisateurs de suivre les métriques de performance liées à cette fonctionnalité.

github llama.cpp · il y a 2 j

llama.cpp b10259 permet le remodelage des tenseurs lors du chargement

Le projet llama.cpp a publié la version b10259, qui introduit la capacité de permettre le remodelage des tenseurs pendant le processus de chargement.

github llama.cpp · il y a 3 j · 2 vues

llama.cpp b10254 ajoute le template DeepSeek V4 Flash 0731 et met à jour les templates V4

Le projet llama.cpp a publié la version b10254, introduisant un nouveau template de chat pour le modèle DeepSeek V4 Flash 0731 ainsi que des mises à jour des templates DeepSeek V4 existants.

github llama.cpp · il y a 3 j

llama.cpp b10251 ajoute le support MTP pour GLM-4.7-Flash

Le projet llama.cpp a publié la compilation b10251, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle GLM-4.7-Flash.

github llama.cpp · il y a 4 j

llama.cpp b10238 ajoute le support MTP pour Qwen3-Next

Le projet llama.cpp a publié la compilation b10238, qui introduit le support de Multi-Token Prediction (MTP) pour la famille de modèles Qwen3-Next. Cette mise à jour comprend des modifications spécifiques de l'implémentation pour gérer les couches MTP et des correctifs liés à la vérification des types Python dans la base de code.