Makalah ini menyajikan studi eksploratif mengenai kesulitan interpretasi dalam obrolan Discord terkait kejahatan siber, di mana komunikasi berbahaya sering mengandalkan slang dan istilah terenkripsi.
- Para penulis menyusun interpretasi referensi untuk pesan-pesan sulit yang ditinjau oleh seorang ahli.
- Mereka mengevaluasi interpretasi manusia dan model bahasa besar (LLM) di bawah berbagai kondisi konteks.
- Ditemukan bahwa konteks lokal saja tidak cukup bagi manusia, sementara pengetahuan eksternal dan konteks percakapan yang lebih luas secara substansial meningkatkan interpretasi.
- Untuk LLM, konteks lokal juga meningkatkan interpretasi, dengan model yang lebih besar menunjukkan kinerja yang lebih baik.
- Studi ini mengusulkan klasifikasi awal faktor-faktor yang membuat obrolan berbahaya sulit diinterpretasikan.
Temuan ini menunjukkan bahwa analisis konten berbahaya harus memperlakukan interpretasi sebagai masalah integrasi bukti daripada sekadar klasifikasi tingkat pesan.