LLM 에이전트는 예지력을 발전시킬 수 있는가?

본 기사는 현재 LLM 에이전트가 암묵적인 결과 인식을 가지고 행동하는 경우가 많으며, 이는 결과적 작업에 충분하지 않다고 주장합니다. 에이전트가 실행 전에 위험을 모델링하고 영향을 예측할 수 있도록 하기 위해 '명시적 예지'가 필요한 아키텍처 레이어로 제안됩니다.

• 이 개념은 유계 인지 행위(COGITs)로 구성된 SYLLOG를 사용하는 ORCA 인지 런타임을 통해 구현됩니다.
• 액션 사전 점검 SYLLOG는 요청 정규화, 액션 모델링, 제약 조건 식별, 불확실성 추출, 위험 점수 매기기, 결과 예측, 대안 생성, 의사 결정 선택의 단계로 추론을 분해합니다.
• 이 접근 방식은 모호한 프롬프트 지시보다는 명확한 중간 계약을 갖춘 실행 가능한 프로세스로 제시됩니다.
• 저자는 이 런타임 강제 인지 과정을 상세히 설명한 'Beyond Prompted Caution and Guardrails: Runtime-Enforced Pre-Action Cognition for Trustworthy LLM Agents'라는 제목의 논문을 발표했습니다.

저자들은 신뢰할 수 있는 에이전트에는 모델의 능력이나 프롬프트 패턴에만 의존하는 것이 아니라 중요한 추론을 명시적으로 요구할 수 있는 아키텍처가 필요하기 때문에 이를 중요하게 생각합니다.