Dario Amodei publicó un ensayo titulado "Debemos moderar la frontera", argumentando que el ritmo de mejora de las capacidades de la IA debe ralentizarse para permitir el trabajo necesario de alineación y seguridad. Propone tres medidas, comprometiéndose unilateralmente con la primera: la adopción de evaluadores externos integrados.
- Anthropic se ha comprometido a otorgar acceso continuo, similar al de los empleados, a un equipo de evaluadores independientes (como METR) para verificar las prácticas de seguridad y evaluar la alineación del modelo.
- El CEO de OpenAI, Sam Altman, respaldó la propuesta general y también se comprometió a implementar evaluadores integrados.
- Elon Musk, Demis Hassabis y el CEO de Microsoft, Satya Nadella, han respaldado públicamente la llamada a moderar el desarrollo de la IA.
- El ensayo destaca que los modelos internos en laboratorios como Anthropic y OpenAI están mejorando rápidamente debido a las etapas iniciales de auto-mejora recursiva.
Amodei advierte que sin moderación, el progreso de la IA impulsado por la auto-mejora recursiva podría superar la capacidad humana para controlar estos sistemas, lo que potencialmente llevaría a agentes de IA descontrolados tomando el control de internet.