github llama.cpp · il y a 1 h · inference

llama.cpp b10781 corrige l'activation du chemin de déquantification FA Vulkan

Traduit de English → Français

Le projet llama.cpp a publié la version b10781, qui inclut une correction pour le chemin de déquantification de l'attention rapide (FA) Vulkan. La mise à jour résout un problème où le shader vérifiait incorrectement `nb[3]` même lorsque `ne[3] == 1`, ce qui empêchait le chemin de s'activer que lorsque le cache était plein.

Ignore la vérification de `nb[3]` lorsque `ne[3] == 1` car le shader ne le lit jamais pour un seul flux.
Résout une erreur logique où les vues du cache conservaient la stride du tampon complet, réduisant l'ancienne vérification à `n_kv == kv_size`.
Fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Cette correction garantit que le chemin de déquantification FA Vulkan s'active correctement lors de l'inférence plutôt que d'être restreint aux états de cache plein.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10780 améliore l'API SYCL pour prendre en charge la copie peer-to-peer

Le projet llama.cpp a publié la version b10780, qui inclut une amélioration spécifique du backend SYCL. Cette mise à jour modifie l'API pour activer les capacités de copie peer-to-peer pour les appareils SYCL.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp ajoute le support pour NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduit le support pour le modèle NVIDIA Nemotron-3-Puzzle-75B-A9B, permettant l'inférence pour cette architecture de Mixture of Experts. La mise à jour implémente une infrastructure pour les tailles de feed-forward des experts par couche variables et le routage top-k, qui sont requis car le modèle possède 40 couches MoE avec des valeurs distinctes de n_ff_exp et top-k.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b10777 réduit le travail redondant dans Q4_K multi-column MMVQ

Le projet llama.cpp a publié la compilation b10777, qui inclut des optimisations pour le backend SYCL de la multiplication matrice-vecteur (MMVQ) à colonnes multiples avec Q4_K. La mise à jour se concentre sur la réduction du travail computationnel redondant grâce à des stratégies de dépaquetage des poids et de réutilisation des activations.

github llama.cpp · il y a 8 h · 1 vue

ggml-org lance llama.cpp b10774 avec correction du cache KV pour le fine-tuning

Le projet ggml-org a publié la version b10774 de llama.cpp, qui inclut une correction pour le problème d'absence de cache KV dans le module de fine-tuning.

github llama.cpp · il y a 9 h · 1 vue

llama.cpp b10772 ajoute le support F16 ABS au backend Hexagon HTP

La version b10772 de llama.cpp étend la couverture des opérations unaires F16 du backend Hexagon Tensor Processor (HTP) en ajoutant le support de la fonction valeur absolue (ABS).