github llama.cpp · il y a 4 j · inference

llama.cpp b10827 corrige la sélection du pack de poids OpenCL pour mul_mat q4_K et q5_K

Traduit de English → Français

Le projet llama.cpp a publié la version b10827, qui inclut une correction pour choisir correctement le pack de poids pour les opérations de multiplication de matrices q4_K et q5_K en utilisant OpenCL.

La release fournit des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, SYCL), Android et iOS.
Le support OpenCL Adreno est disponible sur Windows arm64, tandis que KleidiAI reste désactivé pour macOS Apple Silicon.
La mise à jour inclut également une nouvelle compilation de l'interface utilisateur et des liens d'attestation pour la vérification.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

llama.cpp b10840 ajoute le dépaquetage sans branchement Q4_K/Q5_K et la prélecture L2 pour CUDA

Le projet llama.cpp a publié la version b10840, qui introduit des optimisations de performance pour l'inférence CUDA. La mise à jour implémente le calcul sans branchement pour les formats de quantification Q4_K et Q5_K afin d'accélérer la multiplication matrice-vecteur (mmvq).

github llama.cpp · il y a 7 j · 21 vues

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

lab Hugging Face Blog · il y a 9 j · 13 vues

Hugging Face publie 207 noyaux WebGPU et un outil de benchmarking navigateur

Hugging Face a publié @huggingface/kernels, une bibliothèque pour charger et exécuter des noyaux WebGPU optimisés depuis le Hub Hugging Face, accompagnée d'une collection initiale de 207 noyaux. La publication introduit également Fleet, une suite de benchmarking GPU dans le navigateur qui mutualise les preuves de performance et de correction issues des appareils des utilisateurs.

github llama.cpp · il y a 10 j · 19 vues

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 12 j · 19 vues

llama.cpp active le GEMM xmem et contourne le f32 en tuiles sur les GPU Adreno

Le projet llama.cpp a mis à jour son backend OpenCL pour améliorer les performances de multiplication matricielle sur deux générations de GPU Adreno. Les modifications ciblent principalement la génération X2E en activant par défaut le chemin GEMM xmem F16xF32 et en optimisant la gestion pour la génération A7X.