github llama.cpp · il y a 4 j · inference

llama.cpp b11203 ajoute le support des entrées F16 au FWHT CUDA

Traduit de English → Français

Le projet llama.cpp a publié la version b11203, qui inclut une modification du Transformée de Walsh-Hadamard rapide (FWHT) de CUDA pour accepter les entrées F16. Auparavant, le FWHT CUDA n'acceptait que des entrées F32 ; cette mise à jour rend le type source un paramètre de modèle afin que le noyau lise directement une source F16 sans nécessiter de copie convertie.

L'implémentation garantit que `supports_op` et l'appel de dispatch partagent un prédicat unique vérifiant les conditions de contiguïté et de forme, comblant ainsi un vide où des incompatibilités auraient pu causer des échecs d'assertion. Test-backend-ops sur un GPU A10 a passé tous les 1297 tests MUL_MAT, y compris 6 nouveaux cas Hadamard F16 alongside les existants F32.

Cette version fournit des binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL et Snapdragon.

Importance 1/3 Confiance 1/3 llama.cpp Hardware & chips Inference efficiency

Lire l'original

ThermaCompute AI lance CrashLens pour le triage local des journaux de plantage GPU

ThermaCompute AI a lancé CrashLens, un outil gratuit et local conçu pour aider les ingénieurs à enquêter sur les plantages GPU en analysant des fichiers journaux. L'outil identifie les schémas de défaillance connus dans les journaux et suggère des étapes spécifiques à suivre pour l'enquête.

github llama.cpp · il y a 8 h · 1 vue

La version b11280 de llama.cpp réduit la synchronisation allreduce des tenseurs avec des tampons hôtes épinglés

Le projet llama.cpp a publié la version b11280, qui inclut une modification pour réduire la synchronisation allreduce des tenseurs en utilisant des tampons hôtes épinglés.

media Hugging Face Forums · il y a 18 h · 1 vue

AI Hardware Fit relie les besoins en VRAM des modèles à la sélection de GPU

Le créateur d'AI Hardware Fit a publié un outil navigateur gratuit et open-source conçu pour aider les utilisateurs à déterminer si un modèle local tient sur leur GPU et à comparer les options matérielles appropriées. L'outil s'attaque à la complexité liée au regroupement des fichiers de modèle, de la quantification, de la longueur du contexte et du support d'exécution provenant de sources disparates.

github llama.cpp · il y a 5 j · 21 vues

llama.cpp corrige les échecs d'opérateurs sur MTT S5000 et active les chemins CUB

Le projet llama.cpp a publié une correction pour les échecs d'opérateurs et les problèmes de compilation sur MUSA (MTT S5000), ciblant spécifiquement l'architecture PH1. Cette mise à jour résout des bugs critiques causant des résultats incorrects ou des timeouts sur ce matériel.

github llama.cpp · il y a 6 j · 22 vues

llama.cpp b11160 ajoute le matmul coopmat1 int8 pour AMD RDNA3/4 et le support IQ4_XS

Le projet llama.cpp a publié la version b11160, introduisant une implémentation de matrice coopérative int8 (coopmat1) pour Vulkan sur les architectures AMD RDNA3 et RDNA4. Cette mise à jour inclut un shader dédié qui sonde directement les valeurs coopmat pour améliorer les performances.