github llama.cpp · il y a 1 j · inference

llama.cpp b11025 étend le support Nemotron MTP

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11025, qui inclut une extension du support de la Prédiction Multi-Tokens (MTP) de Nemotron.

La mise à jour traite la première correction pour cette fonctionnalité et supprime les déclarations inutiles.
Des binaires sont fournis pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.
Une compilation d'interface utilisateur autonome est également disponible au téléchargement.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp b11042 ajoute le noyau binaire OpenCL A8 Q6_K

Le projet llama.cpp a publié la version b11042, qui introduit un nouveau noyau binaire OpenCL pour les modèles A8 Q6_K non-MoE. Cette mise à jour comprend également des correctifs de compatibilité de disposition au sein du backend OpenCL.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b11039 ajoute le support du motif SWA au model-saver et aux chargeurs

Le projet llama.cpp a publié la version b11039, qui met à jour le model-saver pour écrire les motifs d'attention à fenêtre glissante (SWA) et la géométrie MLA SWA pour tous les modèles utilisant SWA. Cette modification garantit que le `sliding_window_pattern` est écrit comme un indicateur par couche plutôt que d'être réduit à une valeur scalaire, préservant ainsi la représentation exacte des données.

github llama.cpp · il y a 1 j · 6 vues

llama.cpp b11024 met à jour OpenVINO vers 2026.4 et corrige les avertissements

Le projet llama.cpp a publié la compilation b11024, qui met principalement à jour l'intégration d'OpenVINO vers la version 2026.4.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b11019 corrige l'alignement des données GGUF pour les fichiers intégrés et ajoute le chargement de LoRA

Le projet llama.cpp a publié la version b11019, corrigeant un bug critique où les fichiers GGUF intégrés à des décalages non alignés renvoyaient des données de tenseur incorrectes. La mise à jour aligne la section de données GGUF par rapport au début du fichier plutôt qu'au décalage 0, garantissant le chargement correct des modèles intégrés.