CrowdTensor 是一项 Apache-2.0 开源协议,用于检查点化的志愿者模型训练活动,它将不可变的模型和数据修订版本固定,以便为已获准的 CPU、GPU 或 TPU 单元提供有界的工作量。该项目已发布 Beta 版注册流程以及针对 Qwen2.5-7B GSM8K 活动的 RFC 草案。
使用 Qwen/Qwen2.5-7B-Instruct 和 openai/gsm8k 完成的可行性运行展示了该协议的能力,涉及 256 个真实的 LoRA/SFT 优化器步骤和 262,144 个非填充标记。测试包括在步骤 128 时完全替换 T4x2 工作节点,使得归一化的精确匹配率从 71.875% 提升至 74.219%。一个较小的 Founding SmolLM2/WikiText-2 活动现在正在提供实时聚合状态,通过公共 HTTPS 贡献路径进行初始化。
该项目寻求对 7B RFC 草案的审查,特别是关于新保留集设计、步骤扩展规则和差异验证策略。注册仍然受到控制,作者指出,独立的物理多主机证据和无许可对抗性安全性仍然缺失。