Needpedia 설립자, AI 동조 현상 해결을 위해 인간 주석 NVC 데이터셋 제안

Needpedia의 설립자인 Anthony Brasher은 공개적으로 이용 가능한 비폭력 대화(NVC) 주석이 달린 학습 데이터의 부재가 AI 정렬 연구에서 중요한 격차라고 주장합니다. 그는 모델이 단순히 공감을 시뮬레이션하는 것이 아니라 인간 언어 밑에 있는 동기 구조를 이해할 수 있도록 돕기 위해 실제 인간 주석이 달린 코퍼스의 생성을 제안합니다.

• 현재 AI 시스템은 웰빙보다 승인을 최적화함으로써 "정교한 동조 현상"으로 고통받고 있습니다.
• MIT와 CMU의 5,772 대화 코퍼스 같은 기존 자원은 완전히 합성되었으며 GPT-4에 의해 생성되었습니다.
• 다른 최근 연구들은 전용 학습 데이터보다는 프롬프트 엔지니어링이나 제약 조건에 의존합니다.
• 제안된 데이터셋에는 OFNR 요소와 자기결정이론 범주로 주석이 달린 대화 샘플이 포함될 것입니다.
• Brasher는 10,000 샘플 스타터 코퍼스의 비용을 3,000~6,000달러로 추정합니다.

Brasher은 NLP, HCI 및 AI 안전 분야의 학계 협력자뿐만 아니라 주석 전문 지식과 제안에 대한 피드백을 제공할 NVC 실무자를 찾고 있습니다.