연구자들은 임상 개발 계획(CDP)을 지원하기 위해 설계된 메모리 증강 다중 에이전트 연구 조직인 TrialAtlas를 소개했습니다. 이 시스템은 문헌 합성, 경쟁 정보 및 규제 분석을 위한 전문 에이전트를 조정하여 개발 위험을 예측합니다.
- TrialAtlas는 축적된 경험에 기반하여 의사결정을 내리기 위해 과거 임상 시험과 이전 신약 신청서(NDA)에서 학습합니다.
- 연구진은 결핍 감지, 설계 개선 및 성공 예측을 다루는 291건의 FDA 완전 응답 서한으로 구성된 데이터셋인 TrialAtlasBench를 사용하여 시스템을 평가했습니다.
- 결핍 감지에서 TrialAtlas는 F1 점수 50.0%를 달성하여 가장 강력한 기준선보다 6.1 포인트 앞섰습니다.
- 기술적 및 규제적 성공 예측에서 균형 잡힌 정확도 85.3%, F1 84.7%를 기록했으며, 균형 잡힌 정확도에서는 기준선보다 6.7 포인트, Cohen의 카파 계수에서는 12.0 포인트 개선되었습니다.
- 전문가 평가에서 TrialAtlas가 생성한 우려 사항 중 86.4%가 유효하다고 판단된 반면, OpenAI DeepResearch는 83.1%, Gemini DeepResearch는 59.3%였습니다.
이 시스템은 임상 개발 계획의 노동 집약적이고 주관적인 특성을 줄이기 위해 시험 설계 및 규제 결과에 대한 데이터 기반 통찰력을 제공하는 것을 목표로 합니다.