Este capítulo delineia o entendimento atual dos Grandes Modelos de Linguagem (LLM) examinando seus mecanismos, capacidades emergentes e o debate em torno de sua relação com a cognição humana. Enfatiza como o mecanismo de atenção da arquitetura Transformer permite que os LLMs funcionem como modelos generalistas treinados em conjuntos de dados massivos.
- O texto revisa evidências de que os LLMs exibem capacidades emergentes semelhantes à cognição humana, como raciocínio simbólico, teoria da mente e estratégias de engano.
- Estudos destacam tanto casos de sucesso na resolução de tarefas complexas quanto casos de falha que revelam diferenças entre a cognição humana e a dos LLMs.
- São discutidas abordagens de IA explicável, incluindo análise de ativação de neurônios e rastreamento de circuitos.
- Os autores argumentam contra visões reducionistas simplistas que atribuem o comportamento dos LLMs exclusivamente à memorização de padrões, defendendo uma discussão matizada sobre a cognição da IA.
Os autores sustentam que descartar a compreensão dos LLMs com base em objetivos de treinamento simples decorre de equívocos sobre os processos de otimização. Eles propõem uma perspectiva equilibrada que reconhece as diferenças entre humanos e LLMs, ao mesmo tempo que permite a possibilidade de uma cognição genuína da IA.