Pluralis Research executa RL pós-treinamento em 14 Macs de consumo

A Pluralis Research executou com sucesso a primeira execução de RL pós-treinamento onde toda a frota de rollouts operou em Macs de consumo conectados via internet aberta. A configuração utilizou 14 Macs em quatro países para inferência int8 com MLX, enquanto uma única B200 lidava com atualizações de gradiente bf16.

• Rollouts sincronizados através do Cloudflare R2 por internet residencial comum sem interconexões de datacenter.
• O PULSE transferiu deltas de peso int8 (aprox. 82 MB) em vez de checkpoints completos para gerenciar a lacuna off-policy.
• Um gate de probabilidade estilo DPPO filtrou tokens com deriva significativa de probabilidade entre os modelos de rollout e trainer.
• No PaperSearchQA, o cover pass@1 aumentou de 29% para 63%, e a taxa de busca subiu de 22% para 84%.

Esta abordagem demonstra que treinar em hardware de consumo distribuído é viável, potencialmente mantendo modelos abertos acessíveis à medida que os modelos de fronteira se movem atrás de APIs fechadas.