Исследование оценивает классификацию нагрузки на GPU с использованием только мониторинга NVML с нулевым влиянием. Классификатор достигает точности 98,2% при идентификации нагрузок на обучение и точности от 43 до 87% при распознавании неожиданных, враждебно скрытых нагрузок на 9 моделей GPU.
Нулевое влияние на мониторинг выявляет скрытые тренировки машинного обучения
NVIDIA представляет конфиденциальные вычисления для безопасного вывода ИИ
NVIDIA разработала NVIDIA Confidential Computing (CC) как решение для решения проблем конфиденциальности данных, суверенитета и безопасности во время вывода моделей ИИ. Технология предназначена для обеспечения безопасной среды обработки данных во время их использования, конкретно удовлетворяя потребности агентных приложений ИИ. Этот подход направлен на то, чтобы организации могли внедрять ИИ без ущерба для безопасности или производительности.
CRAX: Быстрый безопасный бенчмарк для обучения с усилением
CRAX вводит высокоточный ускоренный бенчмарк безопасности для обучения с усилением с использованием MuJoCo XLA. Он достигает ускорения до 100 раз по сравнению с бенчмарками на процессоре за счёт векторизации и ускорения аппаратными средствами, включая шесть наборов сред и три задачи для агентов на трёх уровнях сложности. Оценка шести методов безопасного обучения с усилением показывает, что ни один подход не доминирует, что подчёркивает компромиссы между производительностью и безопасностью, при этом куррикулярное обучение и передача безопасности улучшают результаты.
CRAX: быстрая и безопасная оценка в области обучения с усилением
CRAX представляет высокоточную, быструю оценку безопасности в области обучения с усилением, используя MuJoCo XLA. Он обеспечивает ускорение до 100 раз по сравнению с оценками на процессоре за счёт векторизации и ускорения аппаратными средствами, включая шесть наборов сред и три задачи для агентов на трёх уровнях сложности. Оценка шести методов безопасного обучения с усилением показывает, что ни один подход не доминирует, подчёркивая компромиссы между производительностью и безопасностью, при этом куррикулярное обучение и передача безопасности улучшают результаты.
ShareMMU обеспечивает безопасное разделение трансляции адресов между недоверенными ускорителями с малыми накладными расходами
Исследователи представляют ShareMMU, дизайн IOMMU, который позволяет нескольким недоверенным ускорителям безопасно повторно использовать предварительно транслированные адреса в общем виртуальном адресном пространстве. Этот подход снижает риски побочных каналов, связанные с большими общими таблицами трансляции (TLB), сохраняя при этом высокую производительность.
Qwen-Scope и Gemma Scope 2 показывают, что осведомлённость об оценке — это восемь направлений, а не одно
Исследование с использованием EvalAwareBench проверяет, используют ли языковые модели единое общее направление или несколько детекторов, специфичных для подсказок, для идентификации контекстов оценки. В исследовании независимо изменялись восемь триггерных факторов в 1298 промптах при фиксированных базовых задачах и сущностях.