github llama.cpp · il y a 1 h · inference

llama.cpp b11370 fusionne les experts partagés dans MMVQ

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11370, qui inclut une optimisation CUDA pour fusionner les experts partagés dans l'architecture Mixture of MoE avec Quantification Vectorielle (MMVQ). Ce changement fait partie de la pull request #29184 et traite également des vérifications de tampon nul et de la gestion des arguments pour stride_col_dst.

Fusionne les experts partagés dans MMVQ pour les backends CUDA.
Ajoute des vérifications nulles pour les tampons afin d'améliorer la stabilité.
Déplace stride_col_dst vers les arguments de fusion.

Cette version fournit des binaires mis à jour pour macOS, Linux, Windows, Android et iOS sur divers accélérateurs matériels, y compris CPU, Vulkan, ROCm, OpenVINO, SYCL et Snapdragon.

Importance 1/3 Confiance 1/3 llama.cpp Hardware & chips Inference efficiency

Lire l'original

llama.cpp b11335 route sm70 vers la table Turing MMVQ pour les performances de Volta

Le projet llama.cpp a publié la version b11335, qui inclut une optimisation CUDA pour les GPU Volta. La mise à jour dirige l'architecture sm_70 vers la table nwarps Turing MMVQ existante au lieu de tomber dans la configuration générique.

media Hugging Face Forums · il y a 2 j · 2 vues

ThermaCompute AI lance CrashLens pour le triage local des journaux de plantage GPU

ThermaCompute AI a lancé CrashLens, un outil gratuit et local conçu pour aider les ingénieurs à enquêter sur les plantages GPU en analysant des fichiers journaux. L'outil identifie les schémas de défaillance connus dans les journaux et suggère des étapes spécifiques à suivre pour l'enquête.

github llama.cpp · il y a 3 j · 4 vues

La version b11280 de llama.cpp réduit la synchronisation allreduce des tenseurs avec des tampons hôtes épinglés

Le projet llama.cpp a publié la version b11280, qui inclut une modification pour réduire la synchronisation allreduce des tenseurs en utilisant des tampons hôtes épinglés.

media Hugging Face Forums · il y a 3 j · 3 vues

AI Hardware Fit relie les besoins en VRAM des modèles à la sélection de GPU

Le créateur d'AI Hardware Fit a publié un outil navigateur gratuit et open-source conçu pour aider les utilisateurs à déterminer si un modèle local tient sur leur GPU et à comparer les options matérielles appropriées. L'outil s'attaque à la complexité liée au regroupement des fichiers de modèle, de la quantification, de la longueur du contexte et du support d'exécution provenant de sources disparates.

github llama.cpp · il y a 6 j · 10 vues

llama.cpp b11203 ajoute le support des entrées F16 au FWHT CUDA

Le projet llama.cpp a publié la version b11203, qui inclut une modification du Transformée de Walsh-Hadamard rapide (FWHT) de CUDA pour accepter les entrées F16. Auparavant, le FWHT CUDA n'acceptait que des entrées F32 ; cette mise à jour rend le type source un paramètre de modèle afin que le noyau lise directement une source F16 sans nécessiter de copie convertie.