github llama.cpp · il y a 3 j · inference

llama.cpp b10831 ajoute le support Vulkan TQ1_0 et corrige la dégradation vers Metal

Traduit de English → Français

La version b10831 de llama.cpp introduit le support de la quantification TQ1_0 pour le backend Vulkan, permettant des opérations telles que la multiplication matricielle, mat-vec, la déquantification et get_rows. Cette mise à jour corrige également le backend Metal pour refuser correctement les opérations TQ1_0 non prises en charge, garantissant qu'elles basculent vers l'exécution sur CPU.

L'implémentation Vulkan regroupe les puissances de 3 de TQ1_0 dans une constante 32 bits pour éviter les problèmes de registre.
Les helpers de décodage partagés dans types.glsl remplacent la logique dupliquée à travers divers fichiers de shader.
Un bug dans le calcul du dénominateur du groupe de travail du shader de déquantification autonome est corrigé.
Le backend Metal rejette désormais TQ1_0 pour GET_ROWS et mat-mul, conformément au traitement existant de NVFP4.
Les cas de test sont réduits et les commentaires standardisés en ASCII.

Les modifications Vulkan ont été vérifiées sur AMD gfx1151 avec toutes les opérations pertinentes du backend passant les tests.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

Articles similaires

github llama.cpp · il y a 2 j · 2 vues

llama.cpp désactive le chargement paresseux des tenseurs par défaut sur les GPU intégrés

Le projet llama.cpp a désactivé le chargement paresseux des tenseurs par défaut pour les GPU intégrés (iGPU) dans la version b10867. Ce changement corrige une régression introduite dans le paramètre de mode "AUTO" précédent.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10864 corrige l'éviction des points de contrôle pour les modèles hybrides

Le projet llama.cpp a publié la compilation b10864, qui inclut une correction pour la logique d'éviction des intervalles des points de contrôle dans `create_checkpoint()`. Auparavant, la règle d'éviction conservait le point de contrôle le plus ancien et supprimait les suivants dans `checkpoint_min_step`, ce qui faisait que les prompts plus courts que ce seuil perdaient le point de contrôle nécessaire à la reprise. Cela forçait les modèles hybrides et récurrents à reprefiller inutilement depuis le point de contrôle précédent.

github llama.cpp · il y a 3 j · 6 vues

llama.cpp b10844 ajoute des opérations fusionnées hyper-connexion Vulkan pour DeepSeek-V4

Le projet llama.cpp a publié la version b10844, introduisant le support des opérations fusionnées hyper-connexion DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) dans le backend Vulkan. Cette mise à jour aligne Vulkan sur CUDA et Metal en ce qui concerne ces optimisations spécifiques.

github llama.cpp · il y a 3 j · 4 vues

llama.cpp b10842 ajoute le support HIP pour gfx90c

Le projet llama.cpp a publié la compilation b10842, qui introduit le support de l'architecture gfx90c via HIP.

media Hugging Face Forums · il y a 3 j · 8 vues

AI Model Radar lance avec un ajustement matériel mesuré pour les modèles ouverts

Un nouveau site appelé AI Model Radar aide les utilisateurs à déterminer quels modèles ouverts conviennent réellement à leur GPU ou Mac en utilisant des données mesurées plutôt que des estimations. La plateforme calcule les tailles de poids basées sur des fichiers GGUF publiés réels et calcule la couche de cache de contexte couche par couche à partir des configurations du modèle.