lab NVIDIA Research · il y a 1 h · research

Symphony orchestre les tenseurs clairsemés et denses avec un traitement hétérogène hiérarchique

Traduit de English → Français

L'article propose Symphony, une architecture hybride programmable et spécialisée conçue pour remédier aux inefficacités du système mémoire dans les architectures haute performance actuelles comme les GPU. Elle se concentre sur l'orchestration des données à travers la hiérarchie mémoire afin de réduire les mouvements de données inutiles et la distance.

Symphony utilise des unités reconfigurables spécialisées pour les calculs en virgule flottante selon le plafond (roofline) ainsi que des fonctionnalités d'orchestration de données telles que la génération d'adresses, le filtrage des données et le traitement des métadonnées clairsemées.
Les ressources de calcul sont réparties dans toute la hiérarchie mémoire sur puce pour prendre en charge à la fois les tâches programmables et spécialisées.
L'architecture vise à gérer un mélange d'algorithmes clairsemés et denses que les accélérateurs spécifiques au domaine ne peuvent généralement pas gérer.

Symphony égale la performance des ASIC non programmables dans l'algèbre des tenseurs clairsemés, offrant une amélioration de 31x du temps d'exécution et de 44x de l'efficacité énergétique par rapport à un GPU provisionné de manière comparable.

Importance 1/3 Confiance 3/3 NVIDIA Research Hardware & chips Research paper

Lire l'original

Articles similaires

media Hugging Face Forums · il y a 22 j · 22 vues

Patience Strong propose de construire des réseaux neuronaux comme dispositifs semi-conducteurs

Patience Strong soutient que les réseaux neuronaux actuels consomment une puissance de calcul excessive en émulant des circuits dans un logiciel plutôt que de les implémenter comme matériel physique. L'article suggère de remplacer cette émulation par un dispositif semi-conducteur où les poids et les biais sont stockés dans une mémoire non volatile.

lab NVIDIA Research · il y a 44 j · 10 vues

Nvidia présente l'algorithme 2M réduisant la multiplication de matrices complexes à deux GEMM réels

Un nouvel article introduit l'algorithme de multiplication 2M, qui réduit le coût de la multiplication de matrices complexes de trois General Matrix Multiplications (GEMM) réelles à seulement deux. Cette approche s'applique aux matrices avec des parties réelles et imaginaires entières en utilisant des étapes de pré- et post-traitement en temps quadratique.

arxiv arXiv cs.AI · il y a 4 h · 1 vue

Harness Continual Learning adapte l'état de l'agent en dehors des paramètres figés du modèle

Les auteurs présentent Harness Continual Learning (HCL), un paradigme où un agent s'améliore en faisant évoluer son harness orienté exécution plutôt qu'en mettant à jour les paramètres du modèle. Cette approche répond au défi de conserver le comportement acquis précédemment tout en s'adaptant à de nouvelles expériences via des composants tels que les prompts, les mémoires et les règles de routage.

media TLDR AI · il y a 14 h · 6 vues

Lancement de l'API GLM-5.3 ; la puce Cerebras CS-4 accélère l'IA

Z.ai a rendu l'API GLM-5.3 disponible avec des prix inchangés, offrant des capacités de codage et de performance d'agents à long terme supérieures par rapport à son prédécesseur. Parallèlement, Cerebras a présenté son nouvel ordinateur CS-4, qu'il affirme être plusieurs fois plus rapide que sa génération précédente et plus réactif que les systèmes basés sur Nvidia.

media r/LocalLLaMA · il y a 23 h · 1 vue

Z.ai étend le post-entraînement de GLM-5.3 pour améliorer le raisonnement à long terme

Z.ai a publié GLM-5.3, une expérience contrôlée démontrant que l'extension du post-entraînement apporte des gains significatifs dans le raisonnement à long terme sans modifier le modèle de base ni le nombre de paramètres.