Un nouveau projet appelé vLLM Launcher a été publié en tant qu'application de bureau Windows conçue pour gérer l'inférence de grands modèles linguistiques locaux via WSL2. Cet outil permet aux utilisateurs de contrôler plusieurs backends de moteurs, y compris vLLM, SGLang et llama.cpp, depuis une interface graphique unique.
Le projet llama.cpp a publié la version b10330, introduisant une optimisation CUDA qui fusionne les opérations rms_norm, multiplication et RoPE en un seul noyau. Ce changement est accompagné de vérifications de plage de mémoire pour les opérations fusionnées et de nouveaux cas de test pour les poids de diffusion.
Le projet llama.cpp a publié la compilation b10328, qui introduit le support initial pour isoler les outils au sein du composant serveur en utilisant Docker. Cette mise à jour inclut la documentation et des adaptations de code pour séparer les bac à sable d'E/S des outils et renommer les indicateurs de configuration pertinents.
Le serveur et l'interface utilisateur de llama.cpp ont été mis à jour pour afficher conditionnellement le contrôle du répertoire de travail. Auparavant, cet élément apparaissait chaque fois qu'un outil intégré était exposé, même si aucun outil ne l'utilisait réellement.
Le projet llama.cpp a publié la version b10327, qui inclut une correction pour le nombre de threads et de blocs lors des lancements du noyau de copie quantifiée sur CUDA. Cette mise à jour traite d'un problème identifié dans la pull request #26731.
Le projet llama.cpp a publié la version b10313, qui introduit un planificateur LRU (Least Recently Used) pour son composant serveur. Cette mise à jour inclut la gestion de la fusion des requêtes et des corrections pour les cas de streaming.
Le projet llama.cpp a publié la version b10312, qui inclut une mise à jour spécifique du composant serveur. Le changement principal résout un problème où des modèles chargés étaient évacués du routeur.
Le projet llama.cpp a publié la version b10307, qui inclut une correction pour le code GPU SYCL afin d'analyser correctement les facteurs d'échelle UE4M3 utilisés dans la quantification NVFP4.
Le projet llama.cpp a publié la compilation b10298, qui introduit une nouvelle fonction de sauvegarde et de chargement de chunks pour le module mtmd. Cette mise à jour comprend également un nettoyage du code et des tests supplémentaires.
Le projet llama.cpp a publié la version b10282, qui introduit de nouvelles capacités de surveillance pour le décodage spéculatif. Le serveur inclut désormais des compteurs spec-decode dans son point de terminaison /metrics, permettant aux utilisateurs de suivre les métriques de performance liées à cette fonctionnalité.
La version llama.cpp b10271 introduit une fonctionnalité de répertoire de travail par conversation dans l'interface utilisateur, permettant aux utilisateurs de définir et de naviguer dans les répertoires indépendamment pour chaque session de chat.
Le projet llama.cpp a publié la version b10270, introduisant le support pour le modèle Qwen3-TTS. Cette mise à jour inclut un changement cassant pour le binaire llama-tts et implémente des modifications architecturales significatives pour gérer le nouveau flux de travail de synthèse vocale.
Le projet llama.cpp a publié la version b10259, qui introduit la capacité de permettre le remodelage des tenseurs pendant le processus de chargement.
Le projet llama.cpp a publié la version b10254, introduisant un nouveau template de chat pour le modèle DeepSeek V4 Flash 0731 ainsi que des mises à jour des templates DeepSeek V4 existants.
Le projet llama.cpp a publié la compilation b10251, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle GLM-4.7-Flash.
Le projet llama.cpp a publié la compilation b10238, qui introduit le support de Multi-Token Prediction (MTP) pour la famille de modèles Qwen3-Next. Cette mise à jour comprend des modifications spécifiques de l'implémentation pour gérer les couches MTP et des correctifs liés à la vérification des types Python dans la base de code.
Le projet llama.cpp a publié la version b10237, qui introduit le support de la Prédiction Multi-Tokens (MTP) pour le modèle DeepSeek V3.2.
Le projet llama.cpp a publié la compilation b10232, qui introduit le support des hyper-connexions DeepSeek V4 via le backend Metal. Cette mise à jour ajoute l'implémentation des opérations GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE et GGML_OP_DSV4_HC_POST.
Le projet llama.cpp a publié la version b10219, qui inclut une correction pour le CLI afin de persister le contenu du raisonnement dans l'historique de chat. Auparavant, bien que `llama-cli` collecte le raisonnement du flux pour l'affichage, il ne stockait que le contenu de l'assistant dans les messages, empêchant le drapeau `--reasoning-preserve` de réinjecter les pensées précédentes lors des tours suivants.
Le projet llama.cpp a publié la version b10213, introduisant le support de la quantification du cache clé-valeur rotatif. Cette mise à jour est disponible sur une large gamme de plateformes et d'accélérateurs matériels.