github llama.cpp · à l'instant · inference

llama.cpp b11046 ajoute le support OpenCL pour le noyau flash_attn_f32_f16_bin

Traduit de English → Français

Le projet llama.cpp a publié la version b11046, qui introduit le support OpenCL pour le noyau `flash_attn_f32_f16_bin`. Cette mise à jour inclut également une fonctionnalité de pré-remplissage protégé pour Flash Attention sur les appareils OpenCL.

Ajout de l'implémentation du noyau `flash_attn_f32_f16_bin` pour OpenCL.
Implémentation de la logique de pré-remplissage protégé pour Flash Attention dans le backend OpenCL.
Fourniture de binaires pour macOS (Apple Silicon et Intel), Linux (CPU, CUDA, ROCm, Vulkan, SYCL, OpenVINO), Windows (CPU, CUDA, Vulkan, SYCL, ROCm, OpenVINO), Android et iOS.

Cette version élargit la compatibilité matérielle pour les mécanismes d'attention sur les appareils compatibles OpenCL tout en maintenant un large support entre les principaux systèmes d'exploitation et accélérateurs.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

llama.cpp b11019 corrige l'alignement des données GGUF pour les fichiers intégrés et ajoute le chargement de LoRA

Le projet llama.cpp a publié la version b11019, corrigeant un bug critique où les fichiers GGUF intégrés à des décalages non alignés renvoyaient des données de tenseur incorrectes. La mise à jour aligne la section de données GGUF par rapport au début du fichier plutôt qu'au décalage 0, garantissant le chargement correct des modèles intégrés.

github llama.cpp · il y a 2 j · 7 vues

llama.cpp b11006 ajoute le support Hexagon pour K-Quants Q4_K et Q6_K

Le projet llama.cpp a publié la version b11006, introduisant le support des processeurs Qualcomm Hexagon pour gérer les formats de K-Quantization. Cette mise à jour implémente des noyaux spécifiques pour les niveaux de quantification Q4_K et Q6_K sur l'architecture Hexagon.

github llama.cpp · il y a 4 j · 10 vues

llama.cpp b10981 corrige le décodage d'état pour Gemma-4 et optimise l'inférence GPU MoE

La version b10981 de llama.cpp résout des problèmes critiques de correction dans le chemin de décodage d'état du backend OpenVINO, en corrigeant spécifiquement la prise en charge des modèles comme Gemma-4 qui utilisent des tailles de tête par couche. Elle introduit également des optimisations pour l'inférence GPU Mixture of Experts (MoE) et améliore les performances grâce à des réorganisations d'état KV.

github llama.cpp · il y a 11 j · 24 vues

llama.cpp b10840 ajoute le dépaquetage sans branchement Q4_K/Q5_K et la prélecture L2 pour CUDA

Le projet llama.cpp a publié la version b10840, qui introduit des optimisations de performance pour l'inférence CUDA. La mise à jour implémente le calcul sans branchement pour les formats de quantification Q4_K et Q5_K afin d'accélérer la multiplication matrice-vecteur (mmvq).

github llama.cpp · il y a 12 j · 23 vues

llama.cpp b10827 corrige la sélection du pack de poids OpenCL pour mul_mat q4_K et q5_K

Le projet llama.cpp a publié la version b10827, qui inclut une correction pour choisir correctement le pack de poids pour les opérations de multiplication de matrices q4_K et q5_K en utilisant OpenCL.