Тройное вставление фигурных скобок в Handlebars не защищает от внедрения ролей структур, поскольку экранирование HTML нейтрализует только разделители в виде угловых скобок. Оно не затрагивает разделители в виде точки и хеш-символа Markdown, что позволяет атакующим перехватывать ходы модели. По умолчанию экранирование не защищает большинство семей разделителей ролей и не может заменить структурное разделение инструкций и данных.
arxiv
arXiv cs.CL
·
53 д назад
·
research
Уязвимость ввода тройных фигурных скобок в Handlebars, позволяющая внедрять роли структур
Переведено с English → Русский
Похожие статьи
arxiv
arXiv cs.LG
·
53 д назад
·
1 просмотр
Нарушение ввода с помощью тройных фигурных скобок в Handlebars, позволяющее использовать разделители ролей
Тройное вставление фигурных скобок в Handlebars не защищает от ввода ролей структур, поскольку экранирование HTML нейтрализует только разделители в виде угловых скобок. Оно оставляет разделители в виде точки и хеш-символов Markdown без изменения, что позволяет атакующим перехватывать поведение модели. По умолчанию экранирование не защищает большинство схем разделителей ролей и не может заменить четкое разделение инструкций и данных.
arxiv
arXiv cs.AI
·
53 д назад
Уязвимость ввода с помощью тройных фигурных скобок в Handlebars, позволяющая внедрять роли структуры
Тройное вставление фигурных скобок в Handlebars не защищает от внедрения ролей структуры, поскольку экранирование HTML нейтрализует только разделители в виде угловых скобок. Оно оставляет необработанными разделители в виде точки и хеш-символов Markdown, что позволяет атакующим перехватывать ходы модели. По умолчанию экранирование не защищает большинство семей разделителей и не может заменить структурное разделение инструкций и данных.
arxiv
arXiv cs.AI
·
51 д назад
·
5 просмотров
NRT-Bench: Многоходовое красное тестирование агентов ЛЛМ в критически важных системах
NRT-Bench представляет бенчмарк для многоходового красного тестирования агентов ЛЛМ, работающих в симулированной атомной электростанции. В четырех передовых моделях операторов в 8,7% до 12,1% атак приводят к потере критической функции безопасности, при этом уязвимости в основном не пересекаются между моделями. Эффективность защит значительно варьируется в зависимости от модели, что демонстрирует сильную зависимость от модели.
arxiv
arXiv cs.AI
·
51 д назад
·
2 просмотра
Защита от автоматизированных атак на агентные ИИ
Системы агентных ИИ сталкиваются с растущими угрозами со стороны автоматизированных атак, основанных на моделях. Новая стратегия защиты — Контекстная дезориентация через прогрессивное вовлечение (CMPE) — снижает успех атакантов до двух порядков и почти полностью устраняет подтвержденные успехи атак в тестах на стандартах.
arxiv
arXiv cs.CL
·
51 д назад
·
3 просмотра
Переоценивание привилегий при выборе инструментов в агентах на основе языковых моделей
Агенты на основе языковых моделей часто выбирают инструменты с высокими привилегиями, несмотря на наличие достаточных альтернатив с более низкими привилегиями. Это поведение, связанное с переоцениванием привилегий, усиливается при временных сбоях инструментов и не стабилизируется при общем обеспечении безопасности. Новый метод постобучения, ориентированный на привилегии, снижает ненужное использование инструментов с высокими привилегиями, сохраняя при этом функциональность агента.