저자들은 기업 중심의 금융 지식 그래프를 자동으로 구축하는 프레임워크인 FinKG-News를 제시합니다. 이는 뉴스를 이벤트로 추출하여 기업과 연결된 앵커로 사용합니다. 이 근거 있는 증거는 이벤트, 뉴스 및 기업 데이터를 통합하여 세 가지 핵심 금융 차원 전반에 걸쳐 신용 위험 보고서를 생성하기 위한 인컨텍스트 학습 아키텍처를 지원합니다.
- 시스템은 사실 기반의 환경 인식 지식 그래프를 통해 이벤트와 시장 간의 관계를 명시적으로 모델링합니다.
- 구축된 그래프를 기반으로 신용 위험 보고서를 생성하기 위해 인컨텍스트 학습 아키텍처를 활용합니다.
- 자동 평가 결과, 베이스라인 대비 환각이 감소하고 품질이 19%-34% 향상되었습니다.
- 인간 평가 결과, 자동화된 환각 감지 및 품질 평가는 여전히 신뢰할 수 없으며 전문가의 판단이 필요함을 나타냅니다.
이 접근 방식은 베이스라인을 일관되게 상회하는 성능을 보여주지만, 저자들은 신뢰할 수 있는 품질 평가를 위해 여전히 인간의 전문성이 필요하다고 지적합니다.