В статье утверждается, что текущие инциденты с ИИ вызваны не недостатком возможностей модели или нарушением разрешений, а отсутствием процедурного надзора. Автор считает, что общество ошибочно предоставило ИИ тот же уровень доверия, который никогда не даётся людям, вынужденным опираться на записи и проверки перед действием.

  • Автор предлагает разделить ответственность между тремя сторонами: создателями инструментов, пользователями и внедрителями агентов.
  • Агент должен проверять входные данные с помощью контрольного списка, проверки источников, обработки неизвестных данных и ведения записей.
  • Роль LLM ограничивается рассуждениями, тогда как агент управляет выполнением на основе заявленных оснований.
  • Текущие системы не содержат полей для указания условий, что вынуждает полагаться на выводы модели, которые невозможно проверить.

В статье делается вывод, что более мощные модели требуют более строгого разделения обязанностей, переходя от принципа «выполнять, если не запрещено» к принципу «не выполнять до подтверждения» через проверяемую запись.