louidevはHugging Face上でGlassBallAIデータセットを公開しました。これは、結果が判明する前にGoogleのGeminiモデルが行うリアルタイムの予測行動を捉えたものです。このデータセットには、2026年2月17日から5月19日にかけて収集された3,655件以上のレコードが含まれており、Gemini 2.5 Flash、2.5 Pro、2.5 Flash Lite、および3.0 Flash Previewをカバーしています。

  • 各エントリには、価格の方向性、センチメント、信頼度、および完全な推論トレースを含む10営業日の先行予測が含まれています。
  • 回答の後付けを防ぐためにデータは時限ロックされており、グローバルなExpected Calibration Error (ECE)は0.217と測定されています。
  • 初期の調査結果では、最も高い信頼度層（0.8–0.9）で精度が約28%まで低下する信頼度/精度の逆転現象が示唆されています。
  • 補完ダッシュボードと方法論の解説も用意されています。

このデータセットは、解決済みの歴史的記録ではなく、根拠のあるリアルタイムの予測データを提供することで、LLMのキャリブレーションと幻覚に関する研究を促進することを意図しています。