github llama.cpp · à l'instant · inference

llama.cpp b11338 ajoute une copie DMA en pas partagée pour CPY et CONCAT

Traduit de English → Français

Le projet llama.cpp a publié la version b11338, introduisant un mécanisme de copie Direct Memory Access (DMA) en pas partagée pour les opérations CPY et CONCAT. Cette mise à jour permet le CONCAT de n'importe quelle dimension via DMA sur les architectures Hexagon.

Mise en œuvre d'une copie DMA en pas partagée pour les opérations CPY et CONCAT.
Activation du CONCAT de n'importe quelle dimension via DMA.
Suppression de la logique CONCAT_DMA_MIN_ROW cassée incompatible avec le DMA 64 bits.
Ajout des appels dma_queue_flush() manquants et de gardes supplémentaires pour les conditions non prises en charge.

Cette version fournit des binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, GPU et NPU.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11335 route sm70 vers la table Turing MMVQ pour les performances de Volta

Le projet llama.cpp a publié la version b11335, qui inclut une optimisation CUDA pour les GPU Volta. La mise à jour dirige l'architecture sm_70 vers la table nwarps Turing MMVQ existante au lieu de tomber dans la configuration générique.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b11333 ajoute le support bfloat16 pour WebGPU dans les opérations MUL_MAT

Le projet llama.cpp a publié la compilation b11333, qui introduit le support bfloat16 pour les opérations MUL_MAT, MUL_MAT_ID et GET_ROWS au sein de son backend WebGPU.

github llama.cpp · il y a 1 j · 5 vues

llama.cpp b11309 optimise ALLREDUCE de Hexagon avec le mode scatter sécurisé

Le projet llama.cpp a publié la version b11309, qui comprend une optimisation clé pour le backend Hexagon. Cette mise à jour ajoute le support du mode scatter sécurisé à l'opération ALLREDUCE, visant à améliorer les performances et la stabilité sur les appareils Qualcomm Snapdragon.

github llama.cpp · il y a 2 j · 9 vues

llama.cpp ajoute le support de GLM-5.3-Flash avec des correctifs k-pool et MTP

Le projet llama.cpp a ajouté un support initial pour l'architecture du modèle GLM-5.3-Flash (GLM5-Next), y compris la migration vers une mémoire à index hybride et les premières capacités de Multi-Token Prediction (MTP).

github llama.cpp · il y a 2 j · 5 vues

llama.cpp b11266 charge les matrices A F32 par deux pour Vulkan sur Intel

Le projet llama.cpp a publié la version b11266, qui inclut une optimisation Vulkan chargeant les matrices A F32 par deux éléments lorsqu'elles sont alignées sur 2. Ce changement résout des problèmes de performance sur le matériel Intel où charger les flottants un par un est inefficace, et corrige également une validation manquante pour l'alignement de `a_offset` dans le patch original.