github llama.cpp · il y a 1 h · inference

llama.cpp b10213 ajoute le support de la quantification du cache kv rotatif

Traduit de English → Français

Le projet llama.cpp a publié la version b10213, introduisant le support de la quantification du cache clé-valeur rotatif. Cette mise à jour est disponible sur une large gamme de plateformes et d'accélérateurs matériels.

macOS Apple Silicon (arm64) et Intel (x64)
iOS via XCFramework
Linux Ubuntu x64 et arm64 (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16)
Windows x64 et arm64 (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP)
Android arm64 (CPU)
openEuler x86 et aarch64 (ACL Graph)

La version inclut les binaires de l'application principale ainsi qu'un package d'interface utilisateur séparé.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10212 charge les tenseurs MTP uniquement lors de l'utilisation

Le projet llama.cpp a publié la version b10212, qui inclut une modification pour charger les tenseurs Multi-Token Prediction (MTP) uniquement s'ils sont réellement utilisés. Cette mise à jour garantit que les tenseurs MTP sont ignorés lors du chargement des modèles restants qui prennent en charge la fonctionnalité mais n'en ont pas besoin.

github llama.cpp · il y a 3 h

llama.cpp b10210 corrige les tokens acceptés lors de la relecture des tokens de brouillon

Le projet llama.cpp a publié la version b10210, qui inclut une correction de la logique du serveur pour gérer les tokens acceptés lorsque la relecture des tokens de brouillon est nécessaire.

github llama.cpp · il y a 4 h

llama.cpp b10208 ajoute l'attention flash GEMM oneMKL pour le traitement des prompts accéléré par XMX

La version b10208 de llama.cpp introduit le support SYCL pour l'attention flash GEMM oneMKL, permettant l'accélération matérielle XMX pour le traitement des prompts. Ce changement améliore considérablement la vitesse d'inférence sur les GPU Intel Arc en utilisant des noyaux MKL au lieu du chemin TILE par défaut.

github llama.cpp · il y a 6 h

llama.cpp b10207 ajoute le support SYCL pour les types manquants dans cpy

Le projet llama.cpp a publié la version b10207, qui inclut une pull request pour ajouter le support SYCL aux types de données précédemment non pris en charge dans l'opération cpy.

github llama.cpp · il y a 7 h

llama.cpp b10206 impose les mêmes types de cache K et V pour les modèles DeepSeek V4 et MLA

Le projet llama.cpp a publié la version b10206, qui introduit des modifications spécifiques concernant la gestion des caches clé-valeur dans les mécanismes d'attention. La mise à jour garantit que les types de cache K et V restent cohérents pour les modèles DeepSeek V4.