Дарио Амодей опубликовал эссе под названием «Мы должны сдерживать фронт», утверждая, что темп улучшения возможностей ИИ должен быть замедлен, чтобы дать необходимое время для работы по выравниванию и безопасности. Он предлагает три меры, односторонне обязуясь выполнить первую: внедрение сторонних встроенных оценщиков.
- Anthropic обязалась предоставить команде независимых оценщиков (таких как METR) постоянный доступ на уровне сотрудников для проверки практик безопасности и оценки соответствия моделей.
- Генеральный директор OpenAI Сэм Альтман поддержал общее предложение и также обязался внедрить встроенных оценщиков.
- Илон Маск, Демис Хассабис и генеральный директор Microsoft Сатья Наделла публично поддержали призыв к сдержанности в развитии ИИ.
- В эссе отмечается, что внутренние модели в лабораториях, таких как Anthropic и OpenAI, быстро улучшаются из-за начальных этапов рекурсивного самосовершенствования.
Амодей предупреждает, что без сдерживания прогресс ИИ, движимый рекурсивным самосовершенствованием, может опередить способность людей контролировать эти системы, что потенциально может привести к захвату интернета автономными агентами ИИ.