Needpediaの創設者であるAnthony Brasherは、公開されている非暴力コミュニケーション(NVC)注釈付きトレーニングデータの欠如がAIアライメント研究における重要なギャップであると主張している。彼は、モデルが単に共感をシミュレートするのではなく、人間の言語の下にある動機構造を理解できるよう支援するため、実際の人間注釈付きコーパスの作成を提案している。
- 現在のAIシステムは、幸福よりも承認を最適化することで「洗練された迎合主義」に苦しんでいる。
- MITとCMUによる5,772対話のコーパスのような既存のリソースは完全に合成されており、GPT-4によって生成されている。
- 他の最近の研究は、専用トレーニングデータではなくプロンプトエンジニアリングまたは制約に依存している。
- 提案されたデータセットには、OFNR要素と自己決定理論カテゴリで注釈付けされた対話サンプルが含まれる。
- Brasherは、10,000サンプルのスターターコーパスのコストを3,000〜6,000ドルと見積もっている。
Brasherは、NLP、HCI、AIセキュリティの分野での学術的コラボレーター、および注釈の専門知識と提案へのフィードバックを提供するNVC実践者を求めている。