github llama.cpp · à l'instant · inference

llama.cpp b10541 ajoute l'argument --mmproj-device pour les projets multimodaux

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10541, introduisant l'argument de ligne de commande `--mmproj-device` permettant aux utilisateurs de spécifier le backend du périphérique pour charger les fichiers de projection multimodale.

Le nouvel argument est pris en charge par une variable d'environnement `MTMD_BACKEND_DEVICE` rétrocompatible.
Un indicateur court `-mmdev` est également disponible pour un accès rapide à cette fonctionnalité.
La version inclut des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x avec CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), Android et openEuler.
Un binaire d'interface utilisateur mis à jour est également fourni dans cette version.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

llama.cpp b10532 ajoute la déquantisation du cache KV Metal pour Flash Attention

Le projet llama.cpp a publié la version b10532, introduisant un passage de prétraitement sur le backend Metal qui déquantise les caches Key-Value (KV) quantisés en F16 avant d'exécuter Flash Attention.

github llama.cpp · il y a 10 h · 2 vues

llama.cpp b10517 ajoute des optimisations de déquantisation FA pour Vulkan et des correctifs

Le projet llama.cpp a publié la compilation b10517, introduisant plusieurs améliorations spécifiques à Vulkan dans le chemin de déquantisation de l'attention flash (FA). Les changements clés incluent la déquantisation de q8_0 KV une fois dans coopmat1, le saut du chemin de déquantisation FA sur coopmat2 et l'exclusion d'Intel Xe1 du chemin de déquantisation FA.

github llama.cpp · il y a 20 j · 35 vues

llama.cpp b10208 ajoute l'attention flash GEMM oneMKL pour le traitement des prompts accéléré par XMX

La version b10208 de llama.cpp introduit le support SYCL pour l'attention flash GEMM oneMKL, permettant l'accélération matérielle XMX pour le traitement des prompts. Ce changement améliore considérablement la vitesse d'inférence sur les GPU Intel Arc en utilisant des noyaux MKL au lieu du chemin TILE par défaut.

github llama.cpp · il y a 29 j · 26 vues

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10545 corrige les lectures hors limites du matmul Metal pour K non multiple de 32

Le projet llama.cpp a publié la compilation b10545, qui résout un bug critique dans le noyau de multiplication de matrices de l'API tensorielle du backend Metal. La mise à jour prévient les comportements indéfinis et les résultats corrompus lors du traitement de tenseurs dont la dimension K n'est pas un multiple de 32.