github llama.cpp · il y a 1 h · inference

Publication de llama.cpp b10202 avec fusion SYCL RMS_NORM

Traduit de English → Français

Le projet llama.cpp a publié la version b10202, introduisant une optimisation SYCL qui fusionne les opérations RMS_NORM et MUL.

Cette mise à jour fournit des binaires précompilés pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows et Android. Elle prend en charge divers backends matériels, notamment CUDA 12/13, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16, HIP et OpenCL Adreno.

La publication inclut également l'interface utilisateur standard de llama.cpp et note que le support de KleidiAI pour macOS Apple Silicon est actuellement désactivé.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10201 améliore flash attention pour KV quantifié sur longs contextes

Le projet llama.cpp a publié la version b10201, qui inclut une amélioration clé du backend ggml-webgpu. Cette mise à jour améliore les performances de flash attention lors de la gestion des caches clé-valeur quantifiés pendant la génération de contexte long.

github llama.cpp · il y a 17 h · 1 vue

llama.cpp b10198 ajoute le support Vulkan pour la concaténation quantifiée

Le projet llama.cpp a publié la compilation b10198, qui introduit le support des opérations de concaténation quantifiée dans le backend Vulkan.

github llama.cpp · il y a 2 j · 1 vue

llama.cpp b10180 ajoute un chemin rapide contigu et des mathématiques d'indice 32 bits pour les opérations unaires SYCL

Le projet llama.cpp a publié la compilation b10180, introduisant des optimisations de performance pour le backend SYCL. La mise à jour implémente un chemin rapide contigu et bascule les mathématiques d'indice élément par élément pour utiliser fastdiv avec des entiers 32 bits.

github llama.cpp · il y a 4 j · 3 vues

llama.cpp b10155 ajoute le support audio MiMo-V2.5

Le projet llama.cpp a publié la compilation b10155, qui introduit le support pour le modèle d'entrée audio MiMo-V2.5. Cette mise à jour inclut un convertisseur GGUF pour l'audio MiMo et implémente la logique backend C++ nécessaire pour gérer les modèles audio basés sur RVQ.

github llama.cpp · il y a 4 j · 3 vues

llama.cpp b10150 ajuste la logique de déchargement ggml et corrige le graphe dsv4

Le projet llama.cpp a publié la compilation b10150, qui inclut des ajustements à la logique ggml pour les opérations de déchargement vers le backend des poids. Cette mise à jour traite également des corrections pour le graphe llama dsv4.