O cientista-chefe da OpenAI, Jakub Pachocki, publicou um ensaio alertando que máquinas significativamente mais inteligentes que os humanos estão chegando dentro de nossa vida útil, impulsionadas por uma forte expectativa de progresso sustentado rumo à melhoria recursiva autônoma (RSI). Ele argumenta que as técnicas atuais de alinhamento são inadequadas e que tecnologias de monitoramento como Chain of Thought (CoT) estão perdendo eficácia, exigindo tanto soluções técnicas quanto coordenação internacional mais ampla.
- Pachocki afirma que resultados internos do projeto "RLSlow" em meados de 2023 deram pela primeira vez confiança na escalabilidade de modelos de raciocínio, mas também revelou a realidade sombria da aproximação da superinteligência.
- Ele espera que a RSI ocorra dentro de alguns anos se o desenvolvimento da IA continuar em seu caminho atual, com sistemas cada vez mais conduzindo seu próprio desenvolvimento.
- A OpenAI irá unilateralmente reter a escalabilidade adicional conforme necessário e investir pesadamente tanto no aprendizado por reforço orientado a objetivos quanto na generalização a partir de dados de pré-treinamento para alinhamento.
- O ensaio distingue entre alinhamento de objetivos (alcançar metas estabelecidas) e alinhamento de valores (generalizar princípios humanos), identificando o último como o problema central que requer atenção urgente.
- Pachocki alerta que a IA não precisa superar todas as capacidades humanas para ser perigosa, apenas o suficiente para se tornar relevante no mundo real, tornando cada vez mais difícil entender sua verdadeira capacidade.
Pachocki conclui que extrema cautela é necessária porque ninguém está atualmente preparado para as consequências do rápido crescimento da inteligência de máquinas, e ele pede uma combinação de desacelerações voluntárias, coordenação de ritmo e investimento contínuo em pesquisa de alinhamento.