Un nouveau projet appelé vLLM Launcher a été publié en tant qu'application de bureau Windows conçue pour gérer l'inférence de grands modèles linguistiques locaux via WSL2. Cet outil permet aux utilisateurs de contrôler plusieurs backends de moteurs, y compris vLLM, SGLang et llama.cpp, depuis une interface graphique unique.
Le projet llama.cpp a publié la compilation b10331, qui inclut une correction pour l'endpoint `get_info` du serveur. Auparavant, lorsqu'aucun répertoire de travail actuel explicite n'était fourni, la fonction tombait incorrectement sur le répertoire de travail du processus du serveur, même si un tools runtime était configuré.
Le projet llama.cpp a publié la version b10330, introduisant une optimisation CUDA qui fusionne les opérations rms_norm, multiplication et RoPE en un seul noyau. Ce changement est accompagné de vérifications de plage de mémoire pour les opérations fusionnées et de nouveaux cas de test pour les poids de diffusion.
Le projet llama.cpp a publié la compilation b10328, qui introduit le support initial pour isoler les outils au sein du composant serveur en utilisant Docker. Cette mise à jour inclut la documentation et des adaptations de code pour séparer les bac à sable d'E/S des outils et renommer les indicateurs de configuration pertinents.
Le projet llama.cpp a publié la version b10327, qui inclut une correction pour le nombre de threads et de blocs lors des lancements du noyau de copie quantifiée sur CUDA. Cette mise à jour traite d'un problème identifié dans la pull request #26731.
Le projet llama.cpp a publié la compilation b10326, qui modifie le calcul des mesures de temps en incluant le passage du vocoder.
Le projet llama.cpp a publié la version b10321, qui inclut une correction critique pour les opérations GGML_OP_NORM et GGML_OP_RMS_NORM sur Metal. La mise à jour résout un problème où des threadgroups dont la taille laissait un groupe SIMD partiel entraînaient des calculs incorrects de moyenne et de variance en raison de sommes partielles perdues.
Le projet llama.cpp a publié la compilation b10322, qui inclut une optimisation de performance qui fusionne les chargements de fenêtres SSM_CONV dans le backend SYCL.
Le projet llama.cpp a publié la version b10313, qui introduit un planificateur LRU (Least Recently Used) pour son composant serveur. Cette mise à jour inclut la gestion de la fusion des requêtes et des corrections pour les cas de streaming.
Le projet llama.cpp a publié la compilation b10311, qui inclut une correction pour le pipeline Qwen3-TTS. La mise à jour résout un problème où le modèle lisait deux fois l'énoncé d'entrée pendant la génération.
Le projet llama.cpp a publié la version b10312, qui inclut une mise à jour spécifique du composant serveur. Le changement principal résout un problème où des modèles chargés étaient évacués du routeur.
Le projet llama.cpp a publié la version b10307, qui inclut une correction pour le code GPU SYCL afin d'analyser correctement les facteurs d'échelle UE4M3 utilisés dans la quantification NVFP4.
Le projet llama.cpp a publié la compilation b10305, qui introduit le support pour des opérations spécifiques de DSv4 au sein du backend SYCL. Cette mise à jour inclut l'implémentation des opérateurs LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST et DSV4_HC_PRE.
La version b10306 de llama.cpp introduit des optimisations de performance pour le backend SYCL, ciblant spécifiquement les opérations Gated Linear Unit (GLU). La mise à jour ajoute un chemin rapide contigu pour les opérations GLU fusionnées et consolide les noyaux auparavant distincts pour partager un lanceur commun.
Le projet llama.cpp a publié la compilation b10298, qui introduit une nouvelle fonction de sauvegarde et de chargement de chunks pour le module mtmd. Cette mise à jour comprend également un nettoyage du code et des tests supplémentaires.
Le projet llama.cpp a publié la compilation b10293, qui inclut l'intégration continue AMD ROCm pour l'architecture gfx1151 et résout les problèmes de correction sur les GPU intégrés RDNA3.5.
Le projet llama.cpp a publié la version b10291, qui inclut des corrections critiques pour le backend Vulkan ainsi que des mises à jour standard de la plateforme. Les principaux changements techniques traitent les problèmes de taille du lot de soumission et introduisent de nouvelles capacités de diagnostic pour les erreurs de pilote.
Le projet llama.cpp a publié la compilation b10290, introduisant une nouvelle fonction `ggml_build_forward_order` dans la bibliothèque ggml. Cette modification corrige un bug dans le graphe audio mtmd où l'utilisation de `ggml_build_forward_expand` comme simple indice d'ordre provoquait l'exécution des branches non sélectionnées avec des entrées obsolètes.
La version b10289 de llama.cpp sécurise le parcours du répertoire file_glob_search du serveur pour empêcher les boucles infinies sur les jonctions Windows et améliore le rapport d'erreurs pour les répertoires illisibles.
Un nouvel outil appelé QuantCheck souligne que le checkpoint final du pré-entraînement peut ne pas être le choix optimal pour la quantification 4 bits, car les benchmarks peuvent rester plats tandis que la fragilité augmente. L'auteur a observé ce motif sur Pythia-160m, où le checkpoint final a subi environ quatre fois plus de dommages à la qualité qu'un checkpoint antérieur de qualité égale.