La version b9739 de LLaMA.cpp ajoute la prise en charge d'OpenCL Adreno pour Windows ARM64. La release inclut des binaires pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures et API, dont Vulkan, CUDA, OpenVINO et SYCL.
La version b9738 de llama.cpp corrige le proxy CORS pour éviter la transmission des en-têtes d'authentification. La release inclut des builds binaires pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures et options d'accélération matérielle, notamment Vulkan, CUDA, OpenVINO et SYCL.
Le projet ggml a optimisé les performances d'AMX en aplatissant la partition sur n_batch * M, garantissant que tous les threads participent à la quantification. Cette amélioration augmente la vitesse jusqu'à 1,47x sur divers modèles et configurations matérielles sur les plateformes CPU et GPU, avec des résultats montrant des gains constants dans le temps d'inférence.
L'indexeur DSA du modèle GLM-5.2 a été incorrectement chargé sur toutes les couches, provoquant des échecs dus à des tenseurs manquants. La mise à jour marque les tenseurs de l'indexeur comme TENSOR_NOT_REQUIRED, permettant aux couches sans indexeur de se charger en tant que nullptr et activant l'attention MLA complète. DeepSeek-V3.2, avec un indexage uniforme, n'est pas affecté.
Une demande de tirage a été soumise pour ajouter une interface web préconstruite pour l'architecture s390x dans Docker. Le changement est actuellement en attente de publication et n'a pas encore été publié.
LLaMA.cpp publie la version b9732 avec des binaires mis à jour pour macOS, Linux, Android, Windows et openEuler. La release inclut une refonte de la communication enfant-vers-routeur, des corrections sur la gestion du réveil, une amélioration de update_status(), et de la documentation. Les nouvelles builds supportent Vulkan, ROCm, OpenVINO, SYCL et CUDA 12/13 sur plusieurs architectures.
Le projet ggml-webgpu a ajouté des commutateurs d'adaptateur pour la prise en charge de la demi-précision (F16) sur les GPU Vulkan et NVIDIA. Cette mise à jour permet d'améliorer les performances sur le matériel compatible sur plusieurs plateformes, y compris macOS, Linux, Android, Windows et openEuler, avec des builds spécifiques disponibles pour les architectures ARM et x64.
La version b9731 de llama.cpp introduit une optimisation utilisant std::partial_sort pour réduire la surcharge du tri des tokens, améliorant les performances de 8.555ms à 0.704ms pour la sélection des top-n tokens. La release inclut des binaires précompilés pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures et options d'accélération matérielle.
La version b9730 de llama.cpp inclut des correctifs pour la gestion de l'UTF-8 sous Windows et des améliorations de ggml_fopen et de l'interface CLI. La publication fournit des binaires pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures et options d'accélération matérielle, notamment Vulkan, CUDA, OpenVINO et SYCL.
LLaMA.cpp publie la version b9729 avec des binaires pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures. La release inclut le support CPU, Vulkan, OpenVINO, SYCL et ROCm, ainsi qu'un nouveau package UI. Les références internes à 'webui' ont été supprimées.
La version b9728 de LLaMA.cpp introduit le support des lignes de commentaire dans la configuration --api-key-file. La release inclut des binaires pré-construits pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures et options d'accélération matérielle, y compris Vulkan, CUDA, OpenVINO et SYCL.
La version b9726 de llama.cpp introduit un nouvel argument --agent et supprime la compatibilité redondante du nommage webui. La release inclut des binaires précompilés pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures et options d'accélération matérielle.
La version b9727 de llama.cpp met à jour cpp-httplib vers la version 0.48.0. La release inclut des binaires pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures et options d'accélération matérielle, y compris Vulkan, CUDA, OpenVINO et SYCL.
Le projet Docker a ajouté la prise en charge de la construction du composant UI. Cette mise à jour inclut également l'utilisation de la variable APP_VERSION existante dans la configuration du conteneur.
La version llama.cpp b9724 inclut plusieurs corrections de bugs et améliorations, telles que des correctifs de build, l'évitement du dépassement dans la fonction area(), et un contrôle de cohérence dans get_u32(). La release fournit des binaires préconstruits pour macOS (arm64 et x64), Linux (x64, arm64, s390x, Vulkan, ROCm, OpenVINO, SYCL), Android (arm64), Windows (x64, arm64, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), et openEuler (x86 et aarch64 avec support ACL Graph), ainsi qu'un package UI.
La version b9723 de llama.cpp introduit la prise en charge des modèles Qwen3.5 et Qwen3.6 via Eagle3. La publication inclut la restauration différée des points de contrôle de frontière pour les modèles hybrides et des mises à jour des conventions d'API et de nommage. Des builds binaires sont disponibles pour les plateformes macOS, Linux, Android, Windows et openEuler, avec des options pour CPU, Vulkan, OpenVINO, SYCL et ROCm.
La version b9722 de LLaMA.cpp corrige un problème de valeur n_discard non bornée dans la gestion du contexte serveur. La release inclut des binaires précompilés pour macOS, Linux, Android, Windows et openEuler, prenant en charge diverses architectures et frameworks d'accélération tels que Vulkan, CUDA, OpenVINO et SYCL.
la version llama.cpp b9718 consolide la sélection de slot dans une seule fonction, get_available_slot, tout en conservant les vérifications de similarité LCP pour les mises à jour du cache d'invite. La publication inclut des builds binaires pour macOS, Linux, Android, Windows et openEuler sur plusieurs architectures et options d'accélération matérielle.
llama.cpp a publié la version b9721, offrant des binaires pour macOS, Linux, Android, Windows et openEuler sur diverses architectures. La release inclut le support CPU, Vulkan, ROCm, OpenVINO, SYCL et HIP, avec un package UI dédié. Une fonctionnalité pour Apple Silicon avec KleidiAI est actuellement désactivée.
ggml-cpu prend désormais en charge les queues K dans la multiplication matricielle MMA Q8/Q4 de Power10, supprimant l'exigence selon laquelle K doit être divisible par kc. Cela permet à davantage de charges de travail d'utiliser le noyau MMA et réduit le recours à mnpack.