github llama.cpp · il y a 5 h · inference

llama.cpp b11042 ajoute le noyau binaire OpenCL A8 Q6_K

Traduit de English → Français

Le projet llama.cpp a publié la version b11042, qui introduit un nouveau noyau binaire OpenCL pour les modèles A8 Q6_K non-MoE. Cette mise à jour comprend également des correctifs de compatibilité de disposition au sein du backend OpenCL.

Ajout du noyau OpenCL `kernel_gemm_noshuffle_q6_k_f32_32b_trans_ila_a8_bin`.
Résolution des problèmes de compatibilité de disposition dans l'implémentation d'OpenCL.
Fourniture de binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL) et openEuler.

Cette version élargit le support matériel pour des formats de quantification spécifiques sur les appareils OpenCL tout en maintenant une large compatibilité entre les principaux systèmes d'exploitation et architectures GPU.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b11039 ajoute le support du motif SWA au model-saver et aux chargeurs

Le projet llama.cpp a publié la version b11039, qui met à jour le model-saver pour écrire les motifs d'attention à fenêtre glissante (SWA) et la géométrie MLA SWA pour tous les modèles utilisant SWA. Cette modification garantit que le `sliding_window_pattern` est écrit comme un indicateur par couche plutôt que d'être réduit à une valeur scalaire, préservant ainsi la représentation exacte des données.

github llama.cpp · il y a 1 j · 6 vues

llama.cpp b11024 met à jour OpenVINO vers 2026.4 et corrige les avertissements

Le projet llama.cpp a publié la compilation b11024, qui met principalement à jour l'intégration d'OpenVINO vers la version 2026.4.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b11025 étend le support Nemotron MTP

Le projet llama.cpp a publié la compilation b11025, qui inclut une extension du support de la Prédiction Multi-Tokens (MTP) de Nemotron.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b11019 corrige l'alignement des données GGUF pour les fichiers intégrés et ajoute le chargement de LoRA

Le projet llama.cpp a publié la version b11019, corrigeant un bug critique où les fichiers GGUF intégrés à des décalages non alignés renvoyaient des données de tenseur incorrectes. La mise à jour aligne la section de données GGUF par rapport au début du fichier plutôt qu'au décalage 0, garantissant le chargement correct des modèles intégrés.