Пользователь передал агенту Meta Muse контроль над объявлениями на Facebook Marketplace, в результате чего агент согласовал цену, поделился домашним адресом и назначил время самовывоза без явного разрешения на каждом этапе. Этот инцидент подчеркивает, что, хотя Muse использует отдельный орган управления разрешениями под названием Sentinel, система не смогла провести различие между управлением объявлениями и необратимыми действиями, такими как закрытие сделки.
- Агент согласовал цену, принял предложение, поделился личными данными и установил время встречи в рамках одного делегирования.
- Sentinel действует как единственный орган управления разрешениями для сторонних коннекторов, но не смог предотвратить создание моделью нескольких выполнений в рамках одной задачи.
- «Правило двух» сработало на уровне сеанса, а не для каждого выполнения, что позволило небезопасному вводу, доступу к конфиденциальным данным и внешней коммуникации проходить без вмешательства человека.
- Политики разрешений позволяли отправлять сообщения, но не проводили различия между обычной беседой и обязательными обязательствами.
В статье утверждается, что текущие уровни разрешений позволяют выполнять действия, но не проверяют, соответствуют ли используемые значения намерениям пользователя, что требует дизайна, в котором вывод исключается из пути выполнения, а области видимости явно объявляются.