github llama.cpp · il y a 2 h · inference

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.

La version inclut des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x), Windows, Android et openEuler.
Les backends pris en charge incluent CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL, CUDA 12/13 et OpenCL Adreno.
macOS Apple Silicon avec KleidiAI et Ubuntu x64 avec ROCm 7.14 sont actuellement désactivés dans cette compilation.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

llama.cpp b10541 ajoute l'argument --mmproj-device pour les projets multimodaux

Le projet llama.cpp a publié la compilation b10541, introduisant l'argument de ligne de commande `--mmproj-device` permettant aux utilisateurs de spécifier le backend du périphérique pour charger les fichiers de projection multimodale.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10532 ajoute la déquantisation du cache KV Metal pour Flash Attention

Le projet llama.cpp a publié la version b10532, introduisant un passage de prétraitement sur le backend Metal qui déquantise les caches Key-Value (KV) quantisés en F16 avant d'exécuter Flash Attention.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10517 ajoute des optimisations de déquantisation FA pour Vulkan et des correctifs

Le projet llama.cpp a publié la compilation b10517, introduisant plusieurs améliorations spécifiques à Vulkan dans le chemin de déquantisation de l'attention flash (FA). Les changements clés incluent la déquantisation de q8_0 KV une fois dans coopmat1, le saut du chemin de déquantisation FA sur coopmat2 et l'exclusion d'Intel Xe1 du chemin de déquantisation FA.

github llama.cpp · il y a 21 j · 38 vues

llama.cpp b10208 ajoute l'attention flash GEMM oneMKL pour le traitement des prompts accéléré par XMX

La version b10208 de llama.cpp introduit le support SYCL pour l'attention flash GEMM oneMKL, permettant l'accélération matérielle XMX pour le traitement des prompts. Ce changement améliore considérablement la vitesse d'inférence sur les GPU Intel Arc en utilisant des noyaux MKL au lieu du chemin TILE par défaut.

github llama.cpp · il y a 30 j · 26 vues

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.