Este artigo apresenta um estudo exploratório sobre a dificuldade de interpretação em chats do Discord relacionados a cibercrimes, onde a comunicação prejudicial frequentemente depende de gírias e termos codificados.
- Os autores construíram interpretações de referência de mensagens difíceis revisadas por um especialista.
- Eles avaliaram as interpretações humanas e de grandes modelos de linguagem (LLM) sob diferentes condições de contexto.
- Verificou-se que o contexto local era insuficiente para humanos, enquanto o conhecimento externo e o contexto conversacional estendido melhoraram substancialmente a interpretação.
- Para LLMs, o contexto local também melhorou a interpretação, com modelos maiores obtendo melhores resultados.
- O estudo propõe uma classificação preliminar dos fatores que tornam os chats prejudiciais difíceis de interpretar.
Esses achados sugerem que a análise de conteúdo prejudicial deve tratar a interpretação como um problema de integração de evidências em vez de apenas uma classificação em nível de mensagem.