Needpedia的创始人Anthony Brasher认为,缺乏公开可用的非暴力沟通(NVC)标注训练数据是AI对齐研究中的一个关键空白。他提议创建一个真实的人工标注语料库,以帮助模型理解人类语言背后的动机结构,而不仅仅是模拟同理心。
- 当前的AI系统因优化取悦而非福祉而遭受“复杂的谄媚”问题。
- 现有的资源如MIT和CMU的5,772个对话语料库完全是合成的,由GPT-4生成。
- 其他近期工作依赖于提示工程或约束条件,而非专门的训练数据。
- 提议的数据集将包含使用OFNR元素和自我决定理论类别进行标注的对话样本。
- Brasher估计一个包含10,000个样本的启动语料库的成本为3,000–6,000美元。
Brasher正在寻找NLP、HCI和AI安全领域的学术合作者,以及NVC从业者,以贡献标注专业知识和对该提案的反馈。