lab NVIDIA Research · hace 11 h · research

ShareMMU permite el intercambio seguro de traducción de direcciones entre aceleradores no confiables con baja sobrecarga

Traducido del English → Español

Los investigadores presentan ShareMMU, un diseño de IOMMU que permite a múltiples aceleradores no confiables reutilizar de forma segura direcciones previamente traducidas dentro de un espacio de direcciones virtuales compartido. Este enfoque mitiga los riesgos de canales laterales asociados con grandes búferes de traducción compartidos (TLB) mientras mantiene un alto rendimiento.

ShareMMU tiene una sobrecarga de rendimiento de solo 1,66% en comparación con una línea base no segura, superando significativamente a Border Control (32%) y CryptoMMU (17%).
La variante resistente a canales laterales, ShareMMU-SP, añade aproximadamente 2,82% de sobrecarga.
El diseño aborda riesgos de seguridad en sistemas multi-aceleradores donde los procesos no se confían mutuamente.

ShareMMU proporciona un mecanismo seguro y eficiente para compartir traducciones de direcciones en entornos de nube y edge con aceleradores de terceros.

Importancia 1/3 Confianza 3/3 NVIDIA Research Hardware & chips Safety & alignment

Leer original

NVIDIA introduce Computación Confidencial para inferencia de IA segura

NVIDIA ha diseñado NVIDIA Confidential Computing (CC) como una solución para abordar las preocupaciones de privacidad, soberanía y seguridad de datos durante la inferencia de modelos de IA. La tecnología está diseñada para proporcionar un entorno seguro para procesar datos mientras están en uso, dirigiéndose específicamente a las necesidades de aplicaciones de IA agéntica. Este enfoque tiene como objetivo permitir que las organizaciones adopten la IA sin comprometer la seguridad o el rendimiento.

arxiv arXiv cs.LG · hace 90 d · 2 vistas

La telemetría de cero sobrecarga detecta el entrenamiento oculto de ML

Un estudio evalúa la clasificación de cargas de trabajo de GPU utilizando únicamente telemetría NVML de cero sobrecarga. El clasificador logra una precisión del 98,2% en la identificación de cargas de trabajo de entrenamiento y una precisión del 43-87% frente a cargas de trabajo adversarialmente disfrazadas e inesperadas en 9 modelos de GPU.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10997 amplía la heurística de mosaicos MoE para RDNA3.5

El proyecto llama.cpp lanzó la versión b10997, que incluye un cambio en la heurística ncols_opt de mosaicos de Mixture of Experts (MoE) para admitir la arquitectura RDNA3.5.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10994 corrige NaN de Metal en mul_mm_id para activaciones grandes

La versión llama.cpp b10994 incluye una corrección para el backend de Metal que resuelve las salidas NaN en la operación `mul_mm_id` cuando los valores de activación superan el rango f16. Este defecto anteriormente hacía que modelos como Mistral Small 4 produjeran vocabularios completamente NaN durante los pasos de prellenado de 32 tokens o más en dispositivos Apple Silicon.

media Hugging Face Forums · hace 1 d · 4 vistas

AidenAI añade una habilidad de autoconocimiento para distinguir el reconocimiento de la finalización

AidenAI ha introducido en el PR #624 una referencia de autoconocimiento vinculada y específica del proyecto, para ayudar a los agentes a responder preguntas sobre su propio entorno con precisión. Este cambio aborda el problema en el que los agentes producen respuestas confiables pero sin fundamento, rellenando lagunas con suposiciones plausibles en lugar de hechos verificables.