Para peneliti telah mengidentifikasi kerentanan arsitektural dalam cara penyedia model bahasa besar terkemuka menangani jejak penalaran langkah demi langkah. Penyedia mengembalikan jejak ini sebagai blok terenkripsi ke klien, namun studi menemukan bahwa blok-blok tersebut sepenuhnya kompatibel dan dapat dipertukarkan antar sesi, pengguna, dan model yang berbeda dalam ekosistem penyedia.
- Para peneliti mengembangkan jailbreak dekripsi yang skalabel dengan menyuntikkan jejak penalaran terenkripsi dari model yang mampu ke dalam model yang lebih lemah dan kurang terlindungi dari penyedia yang sama untuk memaksa output teks biasa.
- Metode ini mengelabui mekanisme anti-distilasi, memungkinkan ekstraksi jejak penalaran tertutup dari Anthropic, OpenAI, dan Google.
- Kerentanan ini memungkinkan ekstraksi data pribadi skala besar; mendekode 315.320 blok penalaran yang diambil dari repositori publik mengungkapkan 367 artefak PII dan 182 kredensial.
- Cacat ini secara tidak sengaja mengungkap informasi berbahaya yang tersembunyi di dalam proses penalaran, bahkan ketika output akhir model dengan aman menolak permintaan.
- Penyerang dapat memanfaatkan cacat ini untuk mengeksekusi injeksi prompt tak terlihat dengan menyematkan muatan berbahaya di dalam blok terenkripsi untuk meracuni peluncuran agentic publik.
Setelah pengungkapan bertanggung jawab, para penulis mengusulkan mitigasi kriptografis dan tingkat sistem yang konkret untuk mengamankan penalaran sisi klien.