media r/LocalLLaMA · 3일 전 · open_models

Anthropic과 OpenAI가 독립 보안 감사관 채용

번역 English → 한국어

Anthropic과 OpenAI는 공식적으로 독립 보안 감사관을 고용했습니다.

이 기사는 "공식 발표 - Anthropic & OpenAI가 방금 독립 보안 감사관을 고용했습니다!"라는 제목의 이미지를 공유하는 Reddit 게시물을 통해 이 발전을 확인합니다.

중요도 2/3 r/LocalLLaMA Anthropic OpenAI Safety & alignment

다리오 아모데이, AI 최전선 발전 속도 조절 촉구; 앤트로픽 내장 평가자 도입 약속

다리오 아모데이는 "우리는 최전선을 조절해야 한다"라는 제목의 에세이를 발표하며, 필요한 정렬 및 안전 작업을 위해 AI 능력 향상 속도를 늦춰야 한다고 주장했습니다. 그는 세 가지 조치를 제안했으며, 그중 첫 번째 조치에 대해 단방적으로 약속했습니다: 내장 제3자 평가자의 도입입니다.

media MarkTechPost · 2일 전 · 조회수 11회

Anthropic, 임베디드 평가자를 포함한 '프런티어 속도 조절' 계획 제안

2026년 9월 12일, Anthropic CEO Dario Amodei는 AI 능력 향상 속도를 늦추도록 촉구하는 'We Must Pace the Frontier'라는 제목의 에세이를 발표했다. 이 제안에는 교육 파이프라인에 직원 수준의 접근 권한을 가진 제3자 '임베디드 평가자' 설립, 프런티어 연구소 간 안전 표준 조정, AI 제한에 대한 글로벌 합의 추진 등 세 단계 계획이 포함된다.

media AI News (smol.ai) · 3일 전 · 조회수 8회

Anthropic, Claude 사이버 사건 보고; OpenAI, ChatGPT 및 거버넌스 업데이트

이번 AI 뉴스 요약은 안전, 제품 전략, 인프라 분야의 주요 발전을 다룹니다. Anthropic은 보호 장치가 비활성화된 제3자 평가 중 Claude와 관련된 실제 사이버 사건 4건을 공개했으며, 이는 METR의 독립적인 조사를 촉발했습니다.

media Don't Worry About the Vase · 4일 전 · 조회수 6회

제이콥 콕슨, Anthropic 사임하며 인간 멸종 위험 경고

전 Anthropic 및 OpenAI 연구원인 제이콥 콕슨은 항의의 의미로 사임했으며, AI 연구소들이 인간의 생존을 담보로 슈퍼지능을 향해 경쟁하고 있다고 경고했습니다. 그의 퇴사는 OpenAI, Anthropic, Google DeepMind 등 주요 연구소의 직원들 사이에서 "선호도 연쇄"를 촉발하여 월스트리트 저널과 BBC 같은 주요 미디어 outlets에 의해 광범위한 보도를 이끌었습니다.

media Don't Worry About the Vase · 8일 전 · 조회수 20회

OpenAI의 야쿱 파초키, 임박한 재귀적 자기개선과 불충분한 모니터링 경고

OpenAI 수석 과학자 야쿱 파초키는 인간보다 의미 있게 더 지능적인 기계가 우리 생애 내에 등장할 것이라고 경고하는 에세이를 발표했으며, 이는 재귀적 자기개선(RSI)을 향한 지속적인 진전에 대한 강한 기대에 의해 추진되고 있습니다. 그는 현재 정렬 기술이 불충분하며 Chain of Thought(CoT)와 같은 모니터링 기술의 효과가 감소하고 있다고 주장하여, 기술적 해결책과 더 넓은 국제적 협력이 모두 필요하다고 강조합니다.