Pluralis Research menjalankan RL post-training pada 14 Mac konsumen

Pluralis Research berhasil menjalankan run RL post-training pertama di mana seluruh fleet rollout beroperasi pada Mac konsumen yang terhubung melalui internet terbuka. Setup ini memanfaatkan 14 Mac di empat negara untuk inferensi int8 dengan MLX, sementara satu B200 menangani pembaruan gradien bf16.

• Rollout disinkronkan melalui Cloudflare R2 atas internet rumah biasa tanpa interkoneksi datacenter.
• PULSE mentransfer delta bobot int8 (sekitar 82 MB) alih-alih checkpoint penuh untuk mengelola kesenjangan off-policy.
• Gerbang probabilitas gaya DPPO memfilter token dengan drift probabilitas signifikan antara model rollout dan trainer.
• Pada PaperSearchQA, cover pass@1 meningkat dari 29% menjadi 63%, dan laju pencarian naik dari 22% menjadi 84%.

Pendekatan ini menunjukkan bahwa pelatihan pada perangkat keras konsumen terdistribusi layak, berpotensi menjaga aksesibilitas model terbuka saat model frontier bergerak ke belakang API tertutup.