lab NVIDIA Research · il y a 11 h · research

ShareMMU permet le partage sécurisé de la traduction d'adresses entre accélérateurs non fiables avec une faible surcharge

Traduit de English → Français

Les chercheurs présentent ShareMMU, une conception de IOMMU qui permet à plusieurs accélérateurs non fiables de réutiliser en toute sécurité des adresses pré-traduites dans un espace d'adresse virtuel partagé. Cette approche atténue les risques de canaux auxiliaires associés aux grands tampons de traduction partagés (TLB) tout en maintenant des performances élevées.

ShareMMU n'entraîne qu'une surcharge de performance de 1,66 % par rapport à une ligne de base non sécurisée, surpassant significativement Border Control (32 %) et CryptoMMU (17 %).
La variante résistante aux canaux auxiliaires, ShareMMU-SP, ajoute environ 2,82 % de surcharge.
La conception traite les risques de sécurité dans les systèmes multi-accélérateurs où les processus ne se font pas mutuellement confiance.

ShareMMU fournit un mécanisme sûr et efficace pour partager des traductions d'adresses dans les environnements cloud et edge avec des accélérateurs tiers.

Importance 1/3 Confiance 3/3 NVIDIA Research Hardware & chips Safety & alignment

Lire l'original

NVIDIA introduit le Confidential Computing pour une inférence IA sécurisée

NVIDIA a conçu NVIDIA Confidential Computing (CC) comme une solution pour répondre aux préoccupations de confidentialité des données, de souveraineté et de sécurité lors de l'inférence de modèles IA. La technologie est conçue pour fournir un environnement sécurisé pour le traitement des données pendant leur utilisation, ciblant spécifiquement les besoins des applications d'IA agentique. Cette approche vise à permettre aux organisations d'adopter l'IA sans compromettre la sécurité ou les performances.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10997 élargit l'heuristique de tuile MoE pour RDNA3.5

Le projet llama.cpp a publié la version b10997, qui inclut une modification de l'heuristique de tuile ncols_opt de Mixture of Experts (MoE) pour prendre en charge l'architecture RDNA3.5.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10994 corrige le NaN Metal dans mul_mm_id pour les grandes activations

La version llama.cpp b10994 inclut une correction pour le backend Metal qui résout les sorties NaN dans l'opération `mul_mm_id` lorsque les valeurs d'activation dépassent la plage f16. Ce défaut causait précédemment des vocabulaires entièrement NaN pour des modèles comme Mistral Small 4 lors des étapes de préremplissage de 32 tokens ou plus sur les appareils Apple Silicon.

media Hugging Face Forums · il y a 1 j · 4 vues

AidenAI ajoute une compétence de connaissance de soi pour distinguer l'accusé de réception de l'achèvement

AidenAI a introduit dans la PR #624 une référence de connaissance de soi liée au projet afin d'aider les agents à répondre précisément aux questions sur leur propre environnement. Cette modification répond au problème des réponses confiantes mais non fondées, où les agents comblent les lacunes par des suppositions plausibles plutôt que par des faits vérifiables.

media Hugging Face Forums · il y a 1 j · 4 vues

Qwen-Scope et Gemma Scope 2 montrent que la conscience de l'évaluation est orientée dans huit directions, pas une seule

Une étude utilisant EvalAwareBench teste si les modèles de langage utilisent une direction partagée unique ou des détecteurs spécifiques à chaque indicateur pour identifier les contextes d'évaluation. La recherche a activé indépendamment huit facteurs déclencheurs sur 1 298 invites tout en maintenant les tâches sous-jacentes et les entités fixes.