El científico jefe de OpenAI, Jakub Pachocki, ha publicado un ensayo advirtiendo que las máquinas significativamente más inteligentes que los humanos están llegando dentro de nuestra vida, impulsadas por una fuerte expectativa de progreso sostenido hacia la mejora recursiva del autoconocimiento (RSI). Argumenta que las técnicas actuales de alineación son inadecuadas y que las tecnologías de supervisión como Chain of Thought (CoT) están perdiendo efectividad, lo que requiere tanto soluciones técnicas como una coordinación internacional más amplia.
- Pachocki afirma que los resultados internos del proyecto "RLSlow" a mediados de 2023 dieron por primera vez confianza en la escalabilidad de los modelos de razonamiento, pero también revelaron la aterradora realidad de estar acercándonos a la superinteligencia.
- Espera que RSI ocurra dentro de unos pocos años si el desarrollo de IA continúa en su trayectoria actual, con sistemas cada vez más impulsando su propio desarrollo.
- OpenAI retirará unilateralmente la escalación adicional según sea necesario e invertirá fuertemente tanto en aprendizaje por refuerzo orientado a objetivos como en generalización a partir de datos de preentrenamiento para alineación.
- El ensayo distingue entre alineación de objetivos (lograr los objetivos establecidos) y alineación de valores (generalizar principios humanos), identificando este último como el problema central que requiere atención urgente.
- Pachocki advierte que la IA no necesita superar todas las capacidades humanas para ser peligrosa, solo lo suficiente como para volverse relevante en el mundo real, haciendo cada vez más difícil comprender su verdadera capacidad.
Pachocki concluye que se requiere extrema precaución porque nadie está actualmente preparado para las consecuencias del rápido crecimiento de la inteligencia de las máquinas, y pide una combinación de desaceleraciones voluntarias, coordinación de ritmo e inversión continua en investigación de alineación.