github llama.cpp · il y a 1 h · inference

llama.cpp b10207 ajoute le support SYCL pour les types manquants dans cpy

Traduit de English → Français

Le projet llama.cpp a publié la version b10207, qui inclut une pull request pour ajouter le support SYCL aux types de données précédemment non pris en charge dans l'opération cpy.

La mise à jour comble le manque de prise en charge des types au sein de la fonctionnalité cpy via la PR #26005.
Des distributions binaires sont fournies pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), Android et openEuler.
Le support de macOS Apple Silicon avec KleidiAI est actuellement désactivé dans cette version.

Cette version étend la compatibilité matérielle de llama.cpp en activant l'exécution SYCL sur des types de données supplémentaires.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10206 impose les mêmes types de cache K et V pour les modèles DeepSeek V4 et MLA

Le projet llama.cpp a publié la version b10206, qui introduit des modifications spécifiques concernant la gestion des caches clé-valeur dans les mécanismes d'attention. La mise à jour garantit que les types de cache K et V restent cohérents pour les modèles DeepSeek V4.

github llama.cpp · il y a 5 h

Publication de llama.cpp b10202 avec fusion SYCL RMS_NORM

Le projet llama.cpp a publié la version b10202, introduisant une optimisation SYCL qui fusionne les opérations RMS_NORM et MUL.

github llama.cpp · il y a 7 h · 1 vue

llama.cpp b10201 améliore flash attention pour KV quantifié sur longs contextes

Le projet llama.cpp a publié la version b10201, qui inclut une amélioration clé du backend ggml-webgpu. Cette mise à jour améliore les performances de flash attention lors de la gestion des caches clé-valeur quantifiés pendant la génération de contexte long.

github llama.cpp · il y a 21 h · 1 vue

llama.cpp b10198 ajoute le support Vulkan pour la concaténation quantifiée

Le projet llama.cpp a publié la compilation b10198, qui introduit le support des opérations de concaténation quantifiée dans le backend Vulkan.

github llama.cpp · il y a 2 j · 1 vue

llama.cpp b10180 ajoute un chemin rapide contigu et des mathématiques d'indice 32 bits pour les opérations unaires SYCL

Le projet llama.cpp a publié la compilation b10180, introduisant des optimisations de performance pour le backend SYCL. La mise à jour implémente un chemin rapide contigu et bascule les mathématiques d'indice élément par élément pour utiliser fastdiv avec des entiers 32 bits.