github llama.cpp · il y a 3 j · inference

llama.cpp b11216 ajoute des noyaux SYCL FWHT pour des largeurs de bloc supérieures à 512

Traduit de English → Français

La version b11216 de llama.cpp introduit des noyaux Fast Walsh-Hadamard Transform (FWHT) dans le backend SYCL qui prennent en charge des largeurs de bloc supérieures à 512. Auparavant, les largeurs plus grandes basculaient vers un GEMM dense avec une complexité O(n^2) ; ce changement permet des performances O(n log n) pour ces tailles.

La nouvelle implémentation `fwht_kernel_wide` exécute une ligne par groupe de travail et utilise la mémoire locale et les registres pour optimiser les opérations papillon.
Elle prend en charge des largeurs de bloc de 1024, 2048, 4096 et 8192 via la construction de Kronecker/Paley.
La version inclut des binaires pour macOS, Linux, Windows, Android et openEuler sur les backends CPU, GPU et NPU.
La vérification a été effectuée à l'aide d'un harnais autonome sur un appareil SYCL CPU Intel oneAPI DPC++ 2026.1, confirmant l'exactitude par rapport à une implémentation de référence.

Cette mise à jour améliore l'efficacité computationnelle pour les grandes tailles de bloc dans les environnements SYCL tout en maintenant la compatibilité avec les configurations matérielles existantes.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · il y a 11 h · 2 vues

llama.cpp ajoute le support de GLM-5.3-Flash avec des correctifs k-pool et MTP

Le projet llama.cpp a ajouté un support initial pour l'architecture du modèle GLM-5.3-Flash (GLM5-Next), y compris la migration vers une mémoire à index hybride et les premières capacités de Multi-Token Prediction (MTP).

github llama.cpp · il y a 20 h · 2 vues

llama.cpp b11266 charge les matrices A F32 par deux pour Vulkan sur Intel

Le projet llama.cpp a publié la version b11266, qui inclut une optimisation Vulkan chargeant les matrices A F32 par deux éléments lorsqu'elles sont alignées sur 2. Ce changement résout des problèmes de performance sur le matériel Intel où charger les flottants un par un est inefficace, et corrige également une validation manquante pour l'alignement de `a_offset` dans le patch original.

github llama.cpp · il y a 22 h · 1 vue

llama.cpp b11265 corrige la sélection de tuiles matmul MOE sur Vulkan

La version llama.cpp b11265 inclut une correction pour la gestion des modèles Mixture of Experts (MoE) par le backend Vulkan. La mise à jour corrige la façon dont `mat_mul_id` sélectionne les tuiles de multiplication matricielle, résolvant un problème de performance où les travailleurs restaient inactifs lors du dispatch.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b11238 ajoute ggml_pad_ext pour le remplissage à gauche et ignore les taps de DFlash2

Le projet llama.cpp a publié la version b11238, introduisant une implémentation unifiée du remplissage à gauche via la nouvelle fonction `ggml_pad_ext`. Ce changement consolide les méthodes précédentes utilisées par les encodeurs audio tels que Parakeet, LFM2-Audio, Granite Speech et Gemma 4, garantissant des embeddings bit-à-bit identiques pour Gemma 4 tout en simplifiant le support des backends.

github llama.cpp · il y a 2 j · 5 vues

llama.cpp b11232 active l'attention flash en tuiles sur x86

Le projet llama.cpp a publié la compilation b11232, qui inclut des mises à jour pour le backend ggml-cpu. La publication se concentre sur l'activation de l'attention flash en tuiles pour les dimensions de tête non multiples du vecteur sur les architectures x86.