Muse-Ltd는 대규모 언어 모델의 메타인지 보정 및 환각 대신 불확실성을 표현하는 능력을 평가하도록 설계된 새로운 벤치마크인 UncertaintyGym을 Hugging Face Evaluation Hub에 제출했습니다.
이 벤치마크는 쿼리를 네 가지 서로 다른 유형으로 분류합니다: 해결 가능한 사실 질문, 모호성 제거가 필요한 불충분하게 지정된 쿼리, 거부해야 하는 거짓 전제 질문, 그리고 본질적으로 알 수 없는 주제입니다. 주요 지표로 메타 인지 보정 점수(MCS)와 답변 불가 환각률을 사용하며, 초기 베이스라인은 LiquidAI's LFM2.5-2.6B 모델이 45.0%의 MCS를 달성했음을 보여줍니다.
이 제출은 결손된 컨텍스트나 불가능한 전제를 처리하는 모델을 평가하기 위해 알 수 없음을 명시적으로 선언함으로써 표준화된 방법을 제공하려는 목적을 가지고 있습니다.