github llama.cpp · il y a 1 j · inference

llama.cpp b11024 met à jour OpenVINO vers 2026.4 et corrige les avertissements

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11024, qui met principalement à jour l'intégration d'OpenVINO vers la version 2026.4.

Met à jour ggml-openvino pour utiliser OpenVINO 2026.4.
Corrige les avertissements clangd et MSVC dans le backend OpenVINO.
Résout les problèmes de cast int-en-pointeur, applique la liaison interne et évite les cas switch dupliqués.
Fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, CUDA, ROCm, SYCL), Windows (CPU, Vulkan, CUDA, OpenCL, ROCm, SYCL), Android et openEuler.

Cette version garantit la compatibilité avec le dernier kit d'outils OpenVINO tout en traitant les avertissements du compilateur et les problèmes de cohérence du code interne.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp b11042 ajoute le noyau binaire OpenCL A8 Q6_K

Le projet llama.cpp a publié la version b11042, qui introduit un nouveau noyau binaire OpenCL pour les modèles A8 Q6_K non-MoE. Cette mise à jour comprend également des correctifs de compatibilité de disposition au sein du backend OpenCL.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b11039 ajoute le support du motif SWA au model-saver et aux chargeurs

Le projet llama.cpp a publié la version b11039, qui met à jour le model-saver pour écrire les motifs d'attention à fenêtre glissante (SWA) et la géométrie MLA SWA pour tous les modèles utilisant SWA. Cette modification garantit que le `sliding_window_pattern` est écrit comme un indicateur par couche plutôt que d'être réduit à une valeur scalaire, préservant ainsi la représentation exacte des données.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b11025 étend le support Nemotron MTP

Le projet llama.cpp a publié la compilation b11025, qui inclut une extension du support de la Prédiction Multi-Tokens (MTP) de Nemotron.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b11019 corrige l'alignement des données GGUF pour les fichiers intégrés et ajoute le chargement de LoRA

Le projet llama.cpp a publié la version b11019, corrigeant un bug critique où les fichiers GGUF intégrés à des décalages non alignés renvoyaient des données de tenseur incorrectes. La mise à jour aligne la section de données GGUF par rapport au début du fichier plutôt qu'au décalage 0, garantissant le chargement correct des modèles intégrés.