media Hugging Face Forums · à l'instant · open_models

Le profil de raisonnement xhigh Qwen 3.8 27B maintient 90°C sur AMD RX 7900 XT

Traduit de English → Français

Un utilisateur signale l'exécution du modèle Qwen 3.8 27B avec la quantification GGUF UD-Q5_K_M et un profil d'effort de raisonnement xhigh pour des tâches de codage intensives utilisant OpenCode.

Le moteur de raisonnement du modèle fournit une analyse architecturale approfondie mais fonctionne lentement lors de boucles de réflexion prolongées.
Des générations lourdes soutenues sur plus de 10 heures quotidiennes poussent une AMD Radeon RX 7900 XT à environ 90°C.
L'utilisateur maintient la stabilité grâce à un environnement de gestion du contexte personnalisé pour les limites de tokens.

L'article met en évidence l'impact thermique des charges de travail de raisonnement de longue durée sur le matériel grand public, invitant d'autres personnes à partager leurs expériences de température et de throttling.

Importance 1/3 Confiance 1/3 Hugging Face Forums Hardware & chips Reasoning models

Lire l'original

Tencent lance Hy4 Preview, un LLM textuel de 770B avec contexte de 1M

L'entreprise chinoise Tencent a lancé Hy4 Preview, un modèle de langage large à entrée textuelle et poids ouverts, comportant 770 milliards de paramètres totaux et 49 milliards de paramètres actifs. Cette sortie élargit considérablement le modèle Hy3 précédent de juillet, qui disposait de 295B de paramètres totaux et d'une fenêtre de contexte de 256 000 tokens.

lab NVIDIA Research · il y a 3 j · 8 vues

Twill déduit automatiquement les plannings optimaux de pipelining logiciel et de spécialisation de warp pour les GPU à cœurs Tensor

Les chercheurs ont présenté Twill, un système qui formule le pipelining logiciel (SWP) et la spécialisation de warp (WS) comme un problème d'optimisation conjointe résoluble par des solveurs de contraintes prêts à l'emploi. Cette approche automatise la dérivation de plannings d'exécution optimaux pour les programmes itératifs sur les architectures GPU.

github llama.cpp · il y a 3 j · 9 vues

llama.cpp b10675 ajoute le support du hoisting pour les IDs de ligne et le nombre d'experts dans les shaders

Le projet llama.cpp a publié la version b10675, qui inclut une mise à jour clé de son backend Vulkan. Cette version ajoute le support du hoisting pour les IDs de ligne et les comptes d'experts au sein du code shader.

github llama.cpp · il y a 3 j · 4 vues

llama.cpp ajoute des réglages fa-vec pour Apple M4 Pro

Le projet llama.cpp a ajouté des réglages de vecteur d'attention rapide (fa-vec) pour le GPU Apple M4 Pro via une nouvelle contribution au backend Metal. Cette mise à jour fait suite aux travaux précédents pour supporter les GPU Apple supplémentaires et a été générée en utilisant l'outil `ggml-metal-tuning` sur un MacBook Pro de 14 pouces de novembre 2024.

lab Anthropic News · il y a 4 j · 52 vues

Anthropic ouvre un aperçu de recherche pour la norme matérielle des modèles destinée au contrôle des dispositifs par les agents IA

Anthropic et le campus de recherche HHMI Janelia ont ouvert un aperçu de recherche de la norme matérielle des modèles (MHS), une spécification commune conçue pour permettre aux agents IA d'exploiter en toute sécurité des dispositifs physiques dans les laboratoires et les installations de fabrication. La norme réduit le temps d'intégration matérielle, qui passait de plusieurs semaines ou mois à quelques heures, en fournissant un pilote unifié qui assure la traduction entre les systèmes d'exploitation et les diverses interfaces matérielles.