github llama.cpp · il y a 1 h · inference

llama.cpp b10456 corrige le nombre de threads SYCL pour un gain de débit x7 sur Arc 70

Traduit de English → Français

Le projet llama.cpp a publié la version b10456, qui inclut une correction critique pour le backend SYCL dans les lancements de noyaux de copie quantifiés. La mise à jour ajuste les nombres de threads et de blocs pour qu'ils soient proportionnels à la taille de la quantification, réduisant ainsi efficacement les problèmes de sous- et sur-allocation.

Correction du nombre de threads/blocs dans les lancements de noyaux cpy quantifiés (PR #27160).
Le débit pour le chemin q4_0 -> f32 sur un Arc 70 augmente de 20,21 Go/s à 158,19 Go/s.
Les autres chemins de quantification montrent des améliorations de performance constantes.
Les binaires sont disponibles pour macOS, Linux, Windows, Android et openEuler sur les backends CPU, CUDA, Vulkan, ROCm, OpenVINO et SYCL.

Cette amélioration augmente considérablement l'efficacité du transfert de données sur les GPU Intel Arc utilisant le backend SYCL, en adressant un goulot d'étranglement majeur des performances dans les opérations quantifiées.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

media Hugging Face Forums · à l'instant En direct

Le prototype SpiralCoreAttention sélectionne des blocs de tokens pour le fine-tuning QLoRA sur de longues séquences

Un développeur sollicite des retours sur SpiralCoreAttention, un prototype expérimental de sélection du contexte pendant l'entraînement pour le fine-tuning de LLM à poids ouverts. Au lieu de traiter des séquences longues complètes lors de chaque passage avant et arrière, le système sélectionne des blocs de tokens spécifiques de la séquence à entraîner, tout en évaluant l'adaptateur résultant sur des séquences de contexte complet conservées.

media r/LocalLLaMA · il y a 14 h · 8 vues

NVIDIA sert Qwen 3.8 2.4T sur GB300 NVL72 à 4K tok/s par GPU

NVIDIA a démontré le service du modèle de paramètres Qwen 3.8 2.4T avec des capacités de raisonnement configurables sur sa plateforme matérielle GB300 NVL72.

github llama.cpp · il y a 1 j · 9 vues

llama.cpp ajoute le support du modèle Kimi-K3 avec reconditionnement MXFP4 et modèle de chat

Le projet llama.cpp a ajouté la prise en charge du modèle textuel Kimi-K3, implémentant son architecture d'attention hybride KDA (linéaire) + MLA (complet) ainsi que cinq caractéristiques architecturales spécifiques absentes de l'ancien Kimi-Linear-48B.

github llama.cpp · il y a 2 j · 10 vues

llama.cpp b10447 redessine le modèle de threads yield_to_queue

Le projet llama.cpp a publié la compilation b10447, qui inclut un redessin du modèle de threads `yield_to_queue`. Ce changement implique l'exécution de `common_speculative_process` dans le worker et le remplacement du design du thread worker vers le thread principal.

github llama.cpp · il y a 2 j · 9 vues

llama.cpp b10444 ajoute le support des modèles assistants MTP et supprime eagle3

Le projet llama.cpp a publié la version b10444, introduisant le support pour charger des modèles assistants de Prédiction Multi-Tokens (MTP) via le drapeau `--models-dir`. Cette mise à jour inclut également une vérification stricte du préfixe pour les modèles MTP dans les préréglages et supprime le support du type de brouillon eagle3.