OpenAI는 현실적인 정신 건강 대화에서 AI 시스템이 어떻게 반응하는지 평가하기 위해 설계된 오픈 벤치마크인 MentalHealthBench를 소개했습니다. 22개국에서 온 80명 이상의 자격을 갖춘 정신 건강 전문가들과 함께 개발된 이 벤치마크는 안전성, 맥락 탐색, 사용자 주권 보존 등 주요 행동 영역에서 모델의 능력을 평가합니다.

  • 데이터셋에는 성인, 청소년, 보호자, 임상가를 위한 비급성, 고위험 및 응급 상황을 아우르는 합성 대화문이 포함되어 있습니다.
  • 평가 기준은 전문가들이 가중치 기반 평점 시스템을 사용하여 수립했으며, 응답은 GPT-5.6 Sol에 의해 채점되었습니다.
  • 별도의 분석에서는 전문가의 지침과 사용자 선호도를 비교한 결과, 사용자가 전문가보다 실질적인 다음 단계와 어조를 더 중요하게 여긴다는 점이 드러났습니다.
  • 이 벤치마크는 모델 행동의 10가지 차원에 걸쳐 다각적인 측정을 가능하게 하여 개선이 필요한 특정 영역을 식별할 수 있습니다.

MentalHealthBench는 연구자와 개발자들이 기존 모델의 격차를 파악하고 정신 건강 맥락에서 안전하고 유용한 AI 지원을 위한 더 높은 기준을 향해 나아가기 위한 공유 도구를 제공합니다.