github llama.cpp · il y a 1 h · inference

llama.cpp b11333 ajoute le support bfloat16 pour WebGPU dans les opérations MUL_MAT

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11333, qui introduit le support bfloat16 pour les opérations MUL_MAT, MUL_MAT_ID et GET_ROWS au sein de son backend WebGPU.

Cette mise à jour est incluse dans les binaires précompilés pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows, Android et openEuler. La version propose des compilations pour divers accélérateurs matériels, y compris CUDA 12 et 13, Vulkan, ROCm 10.0, OpenVINO, SYCL et Snapdragon NPUs.

L'ajout de la précision bfloat16 à ces opérations matricielles WebGPU spécifiques permet un calcul plus efficace sur les GPU compatibles.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11335 route sm70 vers la table Turing MMVQ pour les performances de Volta

Le projet llama.cpp a publié la version b11335, qui inclut une optimisation CUDA pour les GPU Volta. La mise à jour dirige l'architecture sm_70 vers la table nwarps Turing MMVQ existante au lieu de tomber dans la configuration générique.

github llama.cpp · il y a 23 h · 5 vues

llama.cpp b11309 optimise ALLREDUCE de Hexagon avec le mode scatter sécurisé

Le projet llama.cpp a publié la version b11309, qui comprend une optimisation clé pour le backend Hexagon. Cette mise à jour ajoute le support du mode scatter sécurisé à l'opération ALLREDUCE, visant à améliorer les performances et la stabilité sur les appareils Qualcomm Snapdragon.

github llama.cpp · il y a 2 j · 9 vues

llama.cpp ajoute le support de GLM-5.3-Flash avec des correctifs k-pool et MTP

Le projet llama.cpp a ajouté un support initial pour l'architecture du modèle GLM-5.3-Flash (GLM5-Next), y compris la migration vers une mémoire à index hybride et les premières capacités de Multi-Token Prediction (MTP).

github llama.cpp · il y a 2 j · 5 vues

llama.cpp b11266 charge les matrices A F32 par deux pour Vulkan sur Intel

Le projet llama.cpp a publié la version b11266, qui inclut une optimisation Vulkan chargeant les matrices A F32 par deux éléments lorsqu'elles sont alignées sur 2. Ce changement résout des problèmes de performance sur le matériel Intel où charger les flottants un par un est inefficace, et corrige également une validation manquante pour l'alignement de `a_offset` dans le patch original.

github llama.cpp · il y a 2 j · 2 vues

llama.cpp b11265 corrige la sélection de tuiles matmul MOE sur Vulkan

La version llama.cpp b11265 inclut une correction pour la gestion des modèles Mixture of Experts (MoE) par le backend Vulkan. La mise à jour corrige la façon dont `mat_mul_id` sélectionne les tuiles de multiplication matricielle, résolvant un problème de performance où les travailleurs restaient inactifs lors du dispatch.