Pluralis Research 在 14 台消费级 Mac 上运行 RL 后训练

Pluralis Research 成功执行了首次 RL 后训练运行，整个 rollout 集群均在通过开放互联网连接的消费级 Mac 上运行。该设置使用了分布在四个国家的 14 台 Mac 进行 MLX int8 推理，同时由单台 B200 处理 bf16 梯度更新。

• Rollouts 通过 Cloudflare R2 在普通家庭互联网上同步，无需数据中心互连。
• PULSE 传输了 int8 权重增量（约 82 MB）而非完整检查点，以管理 off-policy 差距。
• DPPO 风格的概率门控过滤掉了 rollout 和训练器模型之间概率漂移显著的 token。
• 在 PaperSearchQA 上，cover pass@1 从 29% 增加到 63%，搜索率从 22% 上升到 84%。

这种方法证明了在分布式消费级硬件上进行训练的可行性，随着前沿模型转向封闭 API，有望保持开源模型的可用性。