Le projet llama.cpp a publié la version b10751, qui introduit un noyau fusionné pour la réduction pondérée des experts MoE (Mixture of Experts) sur CUDA. Cette optimisation remplace le précédent point de référence qui exécutait deux noyaux physiques par un seul noyau de réduction pondérée afin de réduire les transferts intermédiaires vers la mémoire globale.
Le projet llama.cpp a publié la version b10750, qui refactorise la gestion des cellules de clé-valeur afin d'améliorer l'indexation des positions de séquence et les recherches dans l'historique des n-grammes.
Le projet llama.cpp a publié la version b10742, qui inclut une nouvelle fonctionnalité ajoutant des réglages de vecteur rapide (fa-vec) spécifiquement pour la puce Apple A18 Pro trouvée dans le MacBook Neo.
Le projet llama.cpp a publié la version b10739, qui comprend une optimisation de performance spécifique pour le matériel Apple M2 Max. Cette mise à jour introduit le réglage des vecteurs d'attention rapide (fa-vec) adapté aux 30 cœurs GPU du M2 Max.
Hugging Face a publié @huggingface/kernels, une bibliothèque pour charger et exécuter des noyaux WebGPU optimisés depuis le Hub Hugging Face, accompagnée d'une collection initiale de 207 noyaux. La publication introduit également Fleet, une suite de benchmarking GPU dans le navigateur qui mutualise les preuves de performance et de correction issues des appareils des utilisateurs.
Le projet llama.cpp a publié la version b10734, qui inclut une mise à jour pour activer l'API tensor Metal 4.0 pour les appareils équipés de puces M5+ ou A19+.
Turboderp a publié des mises à jour significatives pour ExLlamaV3, introduisant des capacités de déchargement vers le CPU pour les experts de Mixture of Experts (MoE). La mise à jour inclut également la prise en charge des nouveaux modèles GLM-5.3-Flash et Qwen3.8-Flash.
Le projet llama.cpp a publié la compilation b10724, qui améliore considérablement les performances de restauration des cellules KV cache non contiguës en regroupant les lectures scatter par exécution continue.
Le projet llama.cpp a publié la compilation b10721, qui inclut une correction critique pour le backend WebGPU et étend la prise en charge du matériel sous Windows.
Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.
Le projet llama.cpp a publié la compilation b10715, qui inclut une optimisation clé de l'implémentation de DFlash. Le codeur DFlash est désormais fusionné directement dans le processus d'injection du cache KV lors du décodage.
Le projet llama.cpp a publié la compilation b10714, qui inclut des optimisations spécifiques pour le backend Vulkan ciblant le matériel AMD Strix Halo. La mise à jour ajuste les compteurs de lignes de multiplication matrice-vecteur pour améliorer les performances lors de l'inférence par lots.
Le projet llama.cpp a publié la compilation b10706, introduisant de nouvelles fonctionnalités dans le backend ggml. Cette mise à jour inclut l'ajout de SWIGLU_CLAMP et une nouvelle implémentation du shader Vulkan.
Le projet llama.cpp a publié la version b10707, qui inclut une optimisation de performance pour la gestion du cache clé-valeur (KV). La mise à jour modifie la fonction `for_each_token_in` pour arrêter le balayage dès que toutes les séquences au sein d'une cellule spécifique ont été traitées, plutôt que d'itérer sur toutes les séquences maximales possibles.
Le projet llama.cpp a publié la compilation b10688, qui inclut une demande de tirage (pull request) ajoutant des réglages de vecteur rapide (fa-vec) pour l'architecture M2.
Le projet llama.cpp a mis à jour son backend OpenCL pour améliorer les performances de multiplication matricielle sur deux générations de GPU Adreno. Les modifications ciblent principalement la génération X2E en activant par défaut le chemin GEMM xmem F16xF32 et en optimisant la gestion pour la génération A7X.
Le projet llama.cpp a publié la version b10684, qui inclut une correction spécifique pour le backend SYCL afin que l'indicateur `--fit` respecte plus précisément `--fit-target`.
Le projet llama.cpp a publié la version b10670, qui comprend une optimisation spécifique pour l'architecture Xe2 d'Intel. La mise à jour dirige l'opération de décodage des clés et valeurs (KV) quantisées exclusivement vers le backend TILE pour le matériel BMG, tout en conservant le backend VEC sur les autres architectures jusqu'à leur validation.
Le projet llama.cpp a publié la version b10669, qui inclut une optimisation de performance pour le chemin SDPA de oneDNN en liant le cache KV f16 sur place.
La version llama.cpp b10666 élargit la suite de tests de sauvegarde/chargement d'état pour s'exécuter sur toutes les architectures et résout plusieurs bugs critiques dans la gestion de l'état et le traitement du graphe. Les modifications clés incluent la correction des références pendantes dans minimax-01, l'alignement de la copie de chunks pour les séquences sur l'appareil, et la correction des comptes de têtes d'indexeur pour deepseek4.