github llama.cpp · à l'instant · inference

llama.cpp b11006 ajoute le support Hexagon pour K-Quants Q4_K et Q6_K

Traduit de English → Français

Le projet llama.cpp a publié la version b11006, introduisant le support des processeurs Qualcomm Hexagon pour gérer les formats de K-Quantization. Cette mise à jour implémente des noyaux spécifiques pour les niveaux de quantification Q4_K et Q6_K sur l'architecture Hexagon.

Implémentation des noyaux q6k et q4k pour les DSP Hexagon.
Précision de dépaquetage améliorée pour le noyau hex-q6k.
Ajout du support des noyaux Q4_K sur le matériel Hexagon.

La version fournit des binaires préconstruits pour macOS, Linux, Windows, Android et openEuler via divers backends CPU et GPU incluant CUDA, ROCm, Vulkan et OpenVINO.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

llama.cpp b10981 corrige le décodage d'état pour Gemma-4 et optimise l'inférence GPU MoE

La version b10981 de llama.cpp résout des problèmes critiques de correction dans le chemin de décodage d'état du backend OpenVINO, en corrigeant spécifiquement la prise en charge des modèles comme Gemma-4 qui utilisent des tailles de tête par couche. Elle introduit également des optimisations pour l'inférence GPU Mixture of Experts (MoE) et améliore les performances grâce à des réorganisations d'état KV.

github llama.cpp · il y a 9 j · 21 vues

llama.cpp b10840 ajoute le dépaquetage sans branchement Q4_K/Q5_K et la prélecture L2 pour CUDA

Le projet llama.cpp a publié la version b10840, qui introduit des optimisations de performance pour l'inférence CUDA. La mise à jour implémente le calcul sans branchement pour les formats de quantification Q4_K et Q5_K afin d'accélérer la multiplication matrice-vecteur (mmvq).

github llama.cpp · il y a 10 j · 21 vues

llama.cpp b10827 corrige la sélection du pack de poids OpenCL pour mul_mat q4_K et q5_K

Le projet llama.cpp a publié la version b10827, qui inclut une correction pour choisir correctement le pack de poids pour les opérations de multiplication de matrices q4_K et q5_K en utilisant OpenCL.

github llama.cpp · il y a 13 j · 28 vues

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

lab Hugging Face Blog · il y a 15 j · 20 vues

Hugging Face publie 207 noyaux WebGPU et un outil de benchmarking navigateur

Hugging Face a publié @huggingface/kernels, une bibliothèque pour charger et exécuter des noyaux WebGPU optimisés depuis le Hub Hugging Face, accompagnée d'une collection initiale de 207 noyaux. La publication introduit également Fleet, une suite de benchmarking GPU dans le navigateur qui mutualise les preuves de performance et de correction issues des appareils des utilisateurs.