Pluralis Research a réussi à exécuter le premier run de post-training RL où toute la flotte de rollouts fonctionnait sur des Mac grand public connectés via l'internet ouvert. La configuration utilisait 14 Mac répartis dans quatre pays pour l'inférence int8 avec MLX, tandis qu'un seul B200 gérait les mises à jour de gradient bf16.

  • Rollouts synchronisés via Cloudflare R2 sur une connexion internet domestique standard, sans interconnexions de datacenter.
  • PULSE a transféré des deltas de poids int8 (environ 82 Mo) au lieu des checkpoints complets pour gérer l'écart off-policy.
  • Un filtre de probabilité de style DPPO a exclu les tokens présentant une dérive de probabilité significative entre les modèles de rollout et de trainer.
  • Sur PaperSearchQA, le cover pass@1 est passé de 29 % à 63 %, et le taux de recherche est monté de 22 % à 84 %.

Cette approche démontre que l'entraînement sur du matériel grand public distribué est viable, potentiellement en maintenant les modèles ouverts accessibles à mesure que les modèles de pointe se retirent derrière des APIs fermées.