louidev가 LLM 동작 연구용 Gemini 예측 시점 잠금 데이터셋 GlassBallAI 공개

louidev가 Hugging Face에 GlassBallAI 데이터셋을 공개했으며, 이는 결과 판명이 되기 전 Google의 Gemini 모델들이 보인 실시간 예측 행동을 포착한 것이다. 이 데이터셋은 2026년 2월 17일부터 5월 19일까지 수집된 3,655개 이상의 행(row)으로 구성되어 있으며, Gemini 2.5 Flash, 2.5 Pro, 2.5 Flash Lite, 3.0 Flash Preview를 포함한다.

• 각 항목에는 가격 방향, 감정, 신뢰도 및 전체 추론 과정에 대한 10거래일 전방 예측이 포함되어 있다.
• 데이터는 사후 조정(retrofitting)을 방지하기 위해 시점 잠금이 되어 있으며, 글로벌 기대 교정 오차(Expected Calibration Error, ECE)는 0.217로 측정되었다.
• 초기 연구 결과에 따르면 신뢰도/정확도 역전 현상이 관찰되었으며, 최고 신뢰도 구간(0.8–0.9)에서 정확도가 약 28%까지 떨어졌다.
• 관련 대시보드와 방법론 설명이 제공된다.

이 데이터셋은 해결된 과거 기록 대신 근거 있는 실시간 예측 데이터를 제공함으로써 LLM의 교정(calibration)과 환각(hallucination)에 대한 연구를 촉진하는 것을 목적으로 한다.