В данной статье представлен исследовательский анализ трудностей интерпретации в чатах Discord, связанных с киберпреступностью, где вредоносное общение часто опирается на сленг и зашифрованные термины.

  • Авторы создали эталонные интерпретации сложных сообщений, проверенные экспертом.
  • Они оценили интерпретации людей и больших языковых моделей (LLM) в различных условиях контекста.
  • Установлено, что локального контекста недостаточно для людей, тогда как внешние знания и расширенный разговорный контекст существенно улучшают интерпретацию.
  • Для LLM локальный контекст также улучшает интерпретацию, при этом более крупные модели показывают лучшие результаты.
  • В исследовании предложена предварительная классификация факторов, затрудняющих интерпретацию вредоносных чатов.

Эти выводы указывают на то, что анализ вредного контента должен рассматривать интерпретацию как задачу интеграции доказательств, а не только как классификацию на уровне отдельных сообщений.