한 연구는 BioASQ 14b Task B 챌린지를 위한 대규모 언어 모델 프레임워크를 제시하여, 질문 유형에 기반하여 추론 절차를 선택함으로써 답변의 강건성을 개선했습니다. 이 시스템은 예/아니오 질문에 대해 스니펫 셔플링과 자기 성찰을, 사실 질문에 대해 컨텍스트 내 학습에서의 사고 사슬을, 목록 질문에 대해 다중 에이전트 아키텍처를 사용합니다.
- 예/아니오 질문은 증거 순서에 대한 민감도를 줄이기 위해 스니펫 셔플링과 자기 성찰을 활용합니다.
- 사실 질문은 엔티티 식별을 위해 전체 스니펫 입력과 사고 사슬 기반 컨텍스트 내 학습을 결합하여 사용합니다.
- 목록 질문은 협력적 증거 추출 및 검증을 위해 다중 에이전트 아키텍처를 통해 처리됩니다.
이 프레임워크는 Batch 4의 사실 하위 작업에서 1위를 차지하며, 질문 유형별 추론과 에이전트 기반 검증을 결합하는 효과를 입증했습니다.