Srijan Srivastava 使用自定义 Silia 架构训练了一个拥有 1.17 亿参数的模型，借助计算赞助，仅用五小时就在 NVIDIA H100 GPU 上完成了训练。

  • 该模型采用 Silia 架构，具有多头注意力机制、旋转位置嵌入、QK 归一化和权重绑定的输出投影。
  • 训练在 synth-100M 数据集上进行，处理了约 8200 万 tokens，批次大小为 8，上下文长度为 1024。
  • 作者指出，由于相对于参数量而言 token 数量严重不足以及学习率过低，导致模型严重欠训练，损失值高于潜在可实现的水平。
  • 架构代码和推理脚本已在 GitHub 上提供，而研究论文和模型权重则托管在 Hugging Face 和 Zenodo 上。

此次发布提供了 Silia 变压器变体的开源实现以供进一步实验，尽管作者明确表示尚未进行基准测试。