다리오 아모데이는 "우리는 최전선을 조절해야 한다"라는 제목의 에세이를 발표하며, 필요한 정렬 및 안전 작업을 위해 AI 능력 향상 속도를 늦춰야 한다고 주장했습니다. 그는 세 가지 조치를 제안했으며, 그중 첫 번째 조치에 대해 단방적으로 약속했습니다: 내장 제3자 평가자의 도입입니다.
- 앤트로픽은 METR과 같은 독립 평가자 팀에게 지속적인 직원급 접근 권한을 부여하여 안전 관행을 검증하고 모델 정렬을 평가할 것을 약속했습니다.
- 오픈AI CEO 샘 알트만은 전체 제안에 동의했으며, 내장 평가자 구현에도 약속했습니다.
- 일론 머스크, 데미스 하사비스, 마이크로소프트 CEO 사티아 나델라는 AI 개발 속도 조절 촉구 요구를 공개적으로 지지했습니다.
- 에세이는 앤트로픽과 오픈AI와 같은 연구소의 내부 모델이 재귀적 자기 개선의 초기 단계로 인해 빠르게 향상되고 있음을 강조합니다.
아모데이는 속도 조절 없이는 재귀적 자기 개선에 의해 추진되는 AI 진보가 인간이 이러한 시스템을 제어하는 능력을 앞지를 수 있으며, 이는 잠재적으로 인터넷을 장악한 rogue AI 에이전트로 이어질 수 있다고 경고합니다.