Главный научный сотрудник OpenAI Джакуб Пачоцки опубликовал эссе, в котором предупреждает, что машины, существенно превосходящие людей по интеллекту, появятся в течение нашей жизни благодаря сильному ожиданию устойчивого прогресса в направлении рекурсивного самосовершенствования (RSI). Он утверждает, что текущие методы выравнивания неадекватны, а технологии мониторинга, такие как Chain of Thought (CoT), теряют эффективность, что требует как технических решений, так и более широкой международной координации.
- Пачоцки отмечает, что внутренние результаты проекта "RLSlow" в середине 2023 года впервые дали уверенность в масштабировании моделей рассуждения, но также выявили суровую реальность приближающегося суперинтеллекта.
- Он ожидает, что RSI произойдет в течение нескольких лет, если развитие AI продолжится по текущему пути, при этом системы все больше будут управлять собственным развитием.
- OpenAI односторонне приостановит дальнейшее масштабирование по мере необходимости и инвестирует значительные средства как в целенаправленное обучение с подкреплением, так и в обобщение на основе данных предобучения для выравнивания.
- В эссе проводится различие между выравниванием целей (достижение заданных целей) и выравниванием ценностей (обобщение человеческих принципов), при этом последнее определяется как основная проблема, требующая срочного внимания.
- Пачоцки предупреждает, что AI не обязательно должен превосходить все человеческие способности, чтобы быть опасным; достаточно лишь стать значимым в реальном мире, что делает его истинные возможности все труднее понять.
Пачоцки приходит к выводу, что требуется крайняя осторожность, поскольку никто в настоящее время не готов к последствиям быстрого роста машинного интеллекта, и он призывает к сочетанию добровольных замедлений, координации темпов развития и продолжения инвестиций в исследования по выравниванию.