OpenAI 수석 과학자 야쿱 파초키는 인간보다 의미 있게 더 지능적인 기계가 우리 생애 내에 등장할 것이라고 경고하는 에세이를 발표했으며, 이는 재귀적 자기개선(RSI)을 향한 지속적인 진전에 대한 강한 기대에 의해 추진되고 있습니다. 그는 현재 정렬 기술이 불충분하며 Chain of Thought(CoT)와 같은 모니터링 기술의 효과가 감소하고 있다고 주장하여, 기술적 해결책과 더 넓은 국제적 협력이 모두 필요하다고 강조합니다.

  • 파초키는 2023년 중반 "RLSlow" 프로젝트의 내부 결과가 추론 모델 확장 가능성에 대한 확신을 주었지만, 초지능에 접근한다는 냉정한 현실도 드러냈다고 밝혔습니다.
  • 그는 AI 개발이 현재 경로를 계속한다면 RSI가 몇 년 내에 발생할 것으로 예상하며, 시스템이 자신의 개발을 점점 더 주도하게 될 것이라고 봅니다.
  • OpenAI는 필요시 단방적으로 추가 확장을 보류하고, 정렬을 위해 목표 지향적 강화 학습과 사전 훈련 데이터로부터의 일반화에 대규모로 투자할 것입니다.
  • 에세이는 목표 정렬(설정된 목표 달성)과 가치 정렬(인간 원리의 일반화)을 구분하며, 후자가 긴급한 주의가 필요한 핵심 문제임을 지적합니다.
  • 파초키는 AI가 모든 인간 능력을 능가해야만 위험한 것이 아니라, 현실 세계에서 관련성을 가질 만큼의 능력만 있으면 된다고 경고하며, 이로 인해 그 진정한 능력을 이해하기가 점점 더 어려워진다고 말합니다.

파초키는 현재 빠른 기계 지능 성장의 결과에 대비한 사람이 아무도 없기 때문에 극도의 주의가 필요하다고 결론짓고, 자발적인 속도 저하, 조정된 진행 관리, 그리고 정렬 연구에 대한 지속적인 투자의 조합을 촉구합니다.