Dapatkah Agen LLM Mengembangkan Pra-penglihatan?

Artikel ini berargumen bahwa agen LLM saat ini sering bertindak dengan kesadaran implisit akan konsekuensi, yang tidak memadai untuk tugas-tugas yang berdampak. Artikel ini mengusulkan "pra-penglihatan eksplisit" sebagai lapisan arsitektur yang diperlukan untuk memastikan agen memodelkan risiko dan meramalkan efek sebelum eksekusi.

• Konsep ini diimplementasikan melalui runtime kognitif ORCA, yang menggunakan SYLLOGs yang terdiri dari tindakan kognitif terbatas (COGITs).
• SYLLOG pra-pemeriksaan aksi menguraikan penalaran menjadi langkah-langkah: normalisasi permintaan, pemodelan aksi, identifikasi batasan, ekstraksi ketidakpastian, penilaian risiko, peramalan konsekuensi, generasi alternatif, dan pemilihan keputusan.
• Pendekatan ini disajikan sebagai proses yang dapat dieksekusi dengan kontrak antara yang jelas daripada instruksi prompt yang samar.
• Penulis mempublikasikan makalah berjudul "Beyond Prompted Caution and Guardrails: Runtime-Enforced Pre-Action Cognition for Trustworthy LLM Agents" yang merinci kognisi yang ditegakkan oleh runtime ini.

Para penulis menganggap ini penting karena agen yang dapat dipercaya memerlukan arsitektur di mana penalaran kritis dapat secara eksplisit diminta, daripada hanya mengandalkan kemampuan model atau pola prompt.