github llama.cpp · il y a 2 j · inference

llama.cpp b11016 fusionne l'épilogue SiLU dans le noyau ssm_conv

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11016, qui inclut une mise à jour technique pour le backend SYCL. Le changement principal est la fusion de l'épilogue SiLU dans le noyau ssm_conv, comme détaillé dans la pull request #28929.

Cette version fournit des binaires précompilés pour macOS (Apple Silicon et Intel), Linux (Ubuntu avec CPU, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL FP32/FP16 et Vulkan), Windows (CPU, CUDA 12/13, OpenCL Adreno, Vulkan, OpenVINO, SYCL et ROCm 10.0), Android arm64 et openEuler x86/aarch64.

La mise à jour inclut également l'interface llama.cpp UI et des attestations pour la vérification.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp b11042 ajoute le noyau binaire OpenCL A8 Q6_K

Le projet llama.cpp a publié la version b11042, qui introduit un nouveau noyau binaire OpenCL pour les modèles A8 Q6_K non-MoE. Cette mise à jour comprend également des correctifs de compatibilité de disposition au sein du backend OpenCL.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b11039 ajoute le support du motif SWA au model-saver et aux chargeurs

Le projet llama.cpp a publié la version b11039, qui met à jour le model-saver pour écrire les motifs d'attention à fenêtre glissante (SWA) et la géométrie MLA SWA pour tous les modèles utilisant SWA. Cette modification garantit que le `sliding_window_pattern` est écrit comme un indicateur par couche plutôt que d'être réduit à une valeur scalaire, préservant ainsi la représentation exacte des données.

github llama.cpp · il y a 1 j · 6 vues

llama.cpp b11024 met à jour OpenVINO vers 2026.4 et corrige les avertissements

Le projet llama.cpp a publié la compilation b11024, qui met principalement à jour l'intégration d'OpenVINO vers la version 2026.4.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b11025 étend le support Nemotron MTP

Le projet llama.cpp a publié la compilation b11025, qui inclut une extension du support de la Prédiction Multi-Tokens (MTP) de Nemotron.