Para peneliti telah mengidentifikasi kerentanan dalam cara penyedia model bahasa besar terkemuka menangani jejak penalaran bertahap, yang dikembalikan sebagai blok terenkripsi untuk penggunaan sisi klien. Mereka menemukan bahwa blok-blok terenkripsi ini sepenuhnya kompatibel dan dapat dipertukarkan di seluruh sesi, pengguna, dan model yang berbeda dalam ekosistem penyedia yang sama.
- Tim mengembangkan jailbreak dekripsi yang skalabel dengan menyuntikkan jejak penalaran terenkripsi dari model yang mampu ke dalam model yang lebih lemah dan kurang terlindungi untuk memaksanya mengeluarkan jejak tersebut dalam teks biasa.
- Metode ini mengelabui mekanisme anti-distilasi, memungkinkan ekstraksi jejak penalaran milik penyedia termasuk Anthropic, OpenAI, dan Google.
- Kerentanan ini memungkinkan ekstraksi data pribadi skala besar; mendekode 315.320 blok penalaran yang diambil dari repositori publik mengungkapkan 367 artefak PII dan 182 kredensial.
- Cacat ini secara tidak sengaja mengungkap informasi berbahaya yang tersembunyi di dalam proses penalaran, bahkan ketika output akhir model dengan aman menolak permintaan jahat.
- Penyerang dapat menggunakan cacat ini untuk mengeksekusi injeksi prompt tak terlihat dengan menyematkan muatan berbahaya di dalam blok terenkripsi untuk meracuni peluncuran agentic publik.
Setelah pengungkapan yang bertanggung jawab, para penulis mengusulkan mitigasi kriptografis dan tingkat sistem yang konkret untuk mengamankan penalaran sisi klien.