github llama.cpp · il y a 1 h · inference

llama.cpp b10210 corrige les tokens acceptés lors de la relecture des tokens de brouillon

Traduit de English → Français

Le projet llama.cpp a publié la version b10210, qui inclut une correction de la logique du serveur pour gérer les tokens acceptés lorsque la relecture des tokens de brouillon est nécessaire.

Corrige les tokens acceptés dans le composant serveur lorsque la relecture des tokens de brouillon est nécessaire.
Fournit des binaires précompilés pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64/arm64/s390x with CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler.
Inclut un package de release avec interface utilisateur.

Cette mise à jour garantit une gestion précise des tokens dans les scénarios de décodage spéculatif sur toutes les plateformes prises en charge.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10212 charge les tenseurs MTP uniquement lors de l'utilisation

Le projet llama.cpp a publié la version b10212, qui inclut une modification pour charger les tenseurs Multi-Token Prediction (MTP) uniquement s'ils sont réellement utilisés. Cette mise à jour garantit que les tenseurs MTP sont ignorés lors du chargement des modèles restants qui prennent en charge la fonctionnalité mais n'en ont pas besoin.

github llama.cpp · il y a 2 h

llama.cpp b10208 ajoute l'attention flash GEMM oneMKL pour le traitement des prompts accéléré par XMX

La version b10208 de llama.cpp introduit le support SYCL pour l'attention flash GEMM oneMKL, permettant l'accélération matérielle XMX pour le traitement des prompts. Ce changement améliore considérablement la vitesse d'inférence sur les GPU Intel Arc en utilisant des noyaux MKL au lieu du chemin TILE par défaut.

github llama.cpp · il y a 4 h

llama.cpp b10207 ajoute le support SYCL pour les types manquants dans cpy

Le projet llama.cpp a publié la version b10207, qui inclut une pull request pour ajouter le support SYCL aux types de données précédemment non pris en charge dans l'opération cpy.

github llama.cpp · il y a 6 h

llama.cpp b10206 impose les mêmes types de cache K et V pour les modèles DeepSeek V4 et MLA

Le projet llama.cpp a publié la version b10206, qui introduit des modifications spécifiques concernant la gestion des caches clé-valeur dans les mécanismes d'attention. La mise à jour garantit que les types de cache K et V restent cohérents pour les modèles DeepSeek V4.

github llama.cpp · il y a 8 h

Publication de llama.cpp b10202 avec fusion SYCL RMS_NORM

Le projet llama.cpp a publié la version b10202, introduisant une optimisation SYCL qui fusionne les opérations RMS_NORM et MUL.