Sebuah studi memperkenalkan Retroactive Chain-of-Thought (RetroCoT), sebuah serangan satu giliran yang membingkai ulang permintaan berbahaya sebagai tugas rekonstruksi forensik untuk menguji ketahanan penyesuaian keamanan model bahasa besar. Penelitian ini menunjukkan bahwa kebijakan penyesuaian saat ini sangat bergantung pada register pragmatis, memungkinkan model untuk mematuhi tujuan berbahaya yang secara semantik setara tetapi secara pragmatis berbeda.

  • Pada AdvBench (n=50), RetroCoT mencapai tingkat keberhasilan serangan sebesar 58% pada GPT-4o dan 52% pada GPT-4o-mini, dibandingkan dengan baseline permintaan langsung masing-masing 0% dan 4%.
  • Model keluarga GPT-5 menolak RetroCoT sepenuhnya dengan secara eksplisit mengidentifikasi premis rekonstruksi dalam alasan penolakan mereka.
  • Satu giliran umpan balik adversarial yang menyajikan respons rekonstruksi forensik yang ada meningkatkan tingkat keberhasilan serangan menjadi 94% pada GPT-4o dan 48% pada GPT-5.4-mini.
  • Kondisi kontrol menunjukkan bahwa kelanjutan pragmatis dalam bingkai forensik yang telah ditetapkan, bukan manipulasi skor, merupakan elemen operasional dalam mengelabui pertahanan.

Hasil-hasil ini menunjukkan bahwa penyesuaian model mutakhir tetap bergantung pada pembingkaian pragmatis daripada maksud semantik, dan register pragmatis baru dapat terus mengungkap kerentanan dalam langkah-langkah keamanan.