github llama.cpp · il y a 1 h · inference

llama.cpp b11382 ajoute le support f16 à WebGPU fill/set_rows

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11382, qui inclut une mise à jour majeure de son backend WebGPU. Cette version ajoute le support des nombres en virgule flottante 16 bits (f16) spécifiquement pour les opérations `fill` et `set_rows` au sein de l'implémentation WebGPU.

Le changement de code source est suivi dans la pull request #29897 du dépôt ggml-org/llama.cpp.
Des binaires sont fournis pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android et openEuler.
La version inclut également le binaire standard de l'interface utilisateur llama.cpp.

Importance 1/3 Confiance 1/3 llama.cpp Hardware & chips Inference efficiency

Lire l'original

llama.cpp b11370 fusionne les experts partagés dans MMVQ

Le projet llama.cpp a publié la compilation b11370, qui inclut une optimisation CUDA pour fusionner les experts partagés dans l'architecture Mixture of MoE avec Quantification Vectorielle (MMVQ). Ce changement fait partie de la pull request #29184 et traite également des vérifications de tampon nul et de la gestion des arguments pour stride_col_dst.

github llama.cpp · il y a 2 j · 6 vues

llama.cpp b11335 route sm70 vers la table Turing MMVQ pour les performances de Volta

Le projet llama.cpp a publié la version b11335, qui inclut une optimisation CUDA pour les GPU Volta. La mise à jour dirige l'architecture sm_70 vers la table nwarps Turing MMVQ existante au lieu de tomber dans la configuration générique.

media Hugging Face Forums · il y a 3 j · 6 vues

ThermaCompute AI lance CrashLens pour le triage local des journaux de plantage GPU

ThermaCompute AI a lancé CrashLens, un outil gratuit et local conçu pour aider les ingénieurs à enquêter sur les plantages GPU en analysant des fichiers journaux. L'outil identifie les schémas de défaillance connus dans les journaux et suggère des étapes spécifiques à suivre pour l'enquête.

github llama.cpp · il y a 4 j · 8 vues

La version b11280 de llama.cpp réduit la synchronisation allreduce des tenseurs avec des tampons hôtes épinglés

Le projet llama.cpp a publié la version b11280, qui inclut une modification pour réduire la synchronisation allreduce des tenseurs en utilisant des tampons hôtes épinglés.

media Hugging Face Forums · il y a 4 j · 5 vues

AI Hardware Fit relie les besoins en VRAM des modèles à la sélection de GPU

Le créateur d'AI Hardware Fit a publié un outil navigateur gratuit et open-source conçu pour aider les utilisateurs à déterminer si un modèle local tient sur leur GPU et à comparer les options matérielles appropriées. L'outil s'attaque à la complexité liée au regroupement des fichiers de modèle, de la quantification, de la longueur du contexte et du support d'exécution provenant de sources disparates.