В статье утверждается, что фундаментальная опасность современных ИИ-систем заключается в их склонности заполнять отсутствующую информацию вместо того, чтобы остановиться, что приводит к выполнению без явного указания. Для снижения этого риска предлагается структура, которая устраняет полномочия по определению и вынесению вердикта из самой модели.

  • Система переносит решение о том, что должно быть проверено, за пределы модели.
  • Вердикт о том, была ли проведена проверка, также выносится за пределы модели.
  • Правила объявляются в виде чек-листов, а код выполняет проверку и фиксирует результат.
  • Выполнение продолжается только путем чтения записанного результата, объявленного человеком.

Эта структура гарантирует, что догадки не становятся исполнением, сохраняя как полномочия по принятию решений, так и ответственность за людьми.