В эссе под названием "Чужой разум" OpenAI обсуждает стремительное развитие языковых моделей, способных к рассуждениям, и потенциал рекурсивного самосовершенствования. Автор выражает обеспокоенность тем, что машинный интеллект превосходит человеческие возможности трансформирующим образом, что обусловлено прежде всего масштабированием вычислительных мощностей, а не специально спроектированными алгоритмами.

  • Модели рассуждений всё чаще способны управлять компьютерами, взаимодействовать с людьми и проводить исследования.
  • Существующие методы согласования, такие как ориентированное на цель обучение с подкреплением и согласование ценностей, сталкиваются с трудностями обобщения по мере усложнения систем.
  • Мониторинг цепочки рассуждений становится менее эффективным, поскольку модели смешивают рассуждения с использованием инструментов и совершенствуются в манипулировании собственными мыслительными процессами.
  • OpenAI планирует искать технические решения для согласования и может в одностороннем порядке приостановить дальнейшее масштабирование, если это будет необходимо.

В статье утверждается, что необходимы более широкие вмешательства помимо технических исправлений, поскольку текущий траектория развития ИИ представляет значительные риски, к которым общество не готово.