github llama.cpp · à l'instant · inference

llama.cpp b11158 active le support des matrices coopératives KHR pour les GPU Adreno

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11158, qui inclut un ajustement du support des matrices coopératives KHR spécifiquement pour les GPU Adreno via le backend Vulkan.

Support des matrices coopératives (coopmat) activé pour le backend Vulkan afin d'améliorer les performances sur le matériel compatible.
Correction de la fonction mul_mat_s au sein de l'implémentation.
Suppression des instructions de débogage du code source.

Cette mise à jour fournit une accélération GPU optimisée pour les appareils Snapdragon exécutant Linux et Android, ainsi que pour les systèmes Windows arm64 avec des graphiques Adreno.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp v0.5.0 ajoute le support de HRM-Text, l'accélération CUDA conv2d et la liaison multi-adresse

Le projet llama.cpp a publié la version 0.5.0, en mettant l'accent sur les performances du backend, une couverture élargie des modèles et un fonctionnement serveur plus robuste. Cette mise à jour introduit le support de nouvelles architectures telles que HRM-Text (DFM Mimir 1B) et MiMo-V2.6, tout en améliorant considérablement l'efficacité computationnelle grâce aux optimisations CUDA et Metal.

github llama.cpp · il y a 17 h · 11 vues

llama.cpp b11147 ajoute un noyau OpenCL dp4a non-MoE Q6_K A8

Le projet llama.cpp a publié la version b11147, qui introduit un nouveau noyau binaire pour OpenCL. Cette mise à jour ajoute spécifiquement le support pour la configuration A8 Q6_K non-MoE dp4a.

github llama.cpp · il y a 22 h · 12 vues

llama.cpp b11132 ajoute le support du backbone de brouillon Gemma 4 DSpark

Le projet llama.cpp a publié la version b11132, introduisant le support pour le backbone de brouillon Gemma 4 DSpark. Cette mise à jour active la conversion GGUF et les capacités d'exécution pour les brouillons Gemma 4 avec attention complète et SWA, y compris les poids de sortie liés et les métadonnées du backbone booléennes.

github llama.cpp · il y a 1 j · 13 vues

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 2 j · 14 vues

llama.cpp b11111 ajoute des noyaux d'optimisation flash attention pour Intel Xe

Le projet llama.cpp a publié la compilation b11111, qui introduit des noyaux d'optimisation flash attention basés sur Vulkan pour les chemins split k sur les architectures Xe-LPG Plus, Xe2 et Xe3.