Anthony Brasher, fundador de Needpedia, argumenta que la ausencia de datos de entrenamiento con anotaciones de Comunicación No Violenta (CVN) disponibles públicamente es una brecha crítica en la investigación de alineación de la IA. Propone crear un corpus real anotado por humanos para ayudar a los modelos a comprender la estructura motivacional subyacente al lenguaje humano en lugar de simplemente simular empatía.
- Los sistemas actuales de IA sufren de "sycophancy sofisticada" al optimizar para la aprobación en lugar del bienestar.
- Los recursos existentes como un corpus de 5.772 diálogos de MIT y CMU son completamente sintéticos, generados por GPT-4.
- Otros trabajos recientes dependen de ingeniería de prompts o restricciones en lugar de datos de entrenamiento dedicados.
- El conjunto de datos propuesto incluiría muestras de diálogos anotadas con elementos de OFNR y categorías de la Teoría de la Autodeterminación.
- Brasher estima el costo para un corpus inicial de 10.000 muestras entre $3.000 y $6.000.
Brasher busca colaboradores académicos en NLP, HCI y seguridad de IA, así como practicantes de CVN, para contribuir con experiencia en anotación y comentarios sobre la propuesta.