作者构建了 eqx-zoo，这是一个库，可以直接将 Hugging Face Hub 的检查点加载为普通的 Equinox 模块，并针对 transformers 库验证每个模型。该项目目前支持用于生成的 Llama、Qwen2、Qwen3、Qwen3-MoE，以及用于嵌入的 BERT、RoBERTa、XLM-RoBERTa。

  • 验证确保 float32 输出逐层与 transformers 匹配，并且贪婪生成精确重现 token。
  • 作者发现由于舍入差异，直接比较 bf16 实现是有缺陷的，需要相对于源误差与 float32 进行比较。
  • 发现 XXL 中 JIT 编译解码器比 eager execution 精度明显较低，而编码器未显示此问题。
  • bf16 中一个微妙的 LayerNorm bug 仅在块级别可检测，突显了细粒度测试的必要性。

经验证的检查点可在 Hugging Face 集合中找到，该库可通过 pip 安装。