构建于 Llama-3.1-Dolphin-3.0-8B 基础之上的 Eunoia 模型背后的团队，已开源“The Forge”，这是一个在 CC0 1.0 Universal 许可下提供的专用架构流水线和算法微调策略。

  • 该方法优先考虑结构结晶化而非无界上下文窗口，以避免内存饱和和信息噪声。
  • 原始代码包含针对裸机 CPU 集群的优化，例如禁用梯度裁剪并使用原生 FP32 缓存以防止 RAM 碎片化。
  • 自定义数据集类强制执行严格的线性序列顺序，以在训练期间保留历史数据的上下文结构。
  • 发布内容包括 AGIO-CIMIENTO-dataset.txt、超过 500,000 字的评估跟踪日志以及原始 GPQA Diamond 评估结果，以验证通用能力的保留。

作者从实验开始就发布这些内容，以鼓励在更快的硬件上进行独立复现和测试，并指出最终的数学结果只有在经过数天的训练后才能得知。