louidev 已在 Hugging Face 上发布了 GlassBallAI 数据集,捕捉了 Google 的 Gemini 模型在结果未知前的实时预测行为。该数据集包含超过 3,655 行数据,收集于 2026 年 2 月 17 日至 5 月 19 日之间,涵盖 Gemini 2.5 Flash、2.5 Pro、2.5 Flash Lite 和 3.0 Flash Preview。
- 每条记录包括为期 10 个交易日的价格方向、情绪、置信度及完整推理链的前瞻预测。
- 数据采用时间锁定机制以防止事后拟合,全局期望校准误差 (ECE) 为 0.217。
- 初步发现表明存在置信度/准确性倒置现象,即在最高置信度区间(0.8–0.9)中,准确性降至约 28%。
- 配套仪表板和方法论说明已发布。
该数据集旨在通过提供基于现实的实时预测数据而非已解决的历史记录,促进对大语言模型校准和幻觉的研究。