본 논문은 해로운 커뮤니케이션이 슬랭과 암호화된 용어에 자주 의존하는 사이버 범죄 관련 Discord 채팅의 해석 난이도에 대한 탐색적 연구를 제시합니다.

  • 저자들은 전문가가 검토한 어려운 메시지에 대한 참조 해석을 구성했습니다.
  • 다양한 컨텍스트 조건 하에서 인간과 대규모 언어 모델(LLM)의 해석을 평가했습니다.
  • 로컬 컨텍스트만으로는 인간에게 불충분한 것으로 나타났으며, 외부 지식과 확장된 대화 컨텍스트가 해석을 크게 개선했습니다.
  • LLM의 경우에도 로컬 컨텍스트가 해석을 개선했으며, 더 큰 모델이 더 나은 성능을 보였습니다.
  • 연구는 해로운 채팅을 해석하기 어렵게 만드는 요인의 예비 분류를 제안합니다.

이러한 발견은 해로운 콘텐츠 분석이 메시지 수준 분류뿐만 아니라 증거 통합 문제로 해석을 다루어야 함을 시사합니다.