Pluralis Research ejecuta RL post-entrenamiento en 14 Mac de consumo

Pluralis Research ha ejecutado con éxito la primera ejecución de RL post-entrenamiento donde toda la flota de rollouts operó en Mac de consumo conectados a través de internet abierto. La configuración utilizó 14 Mac en cuatro países para inferencia int8 con MLX, mientras que una única B200 manejaba actualizaciones de gradiente bf16.

• Rollouts sincronizados a través de Cloudflare R2 por internet doméstico ordinario sin interconexiones de datacenter.
• PULSE transfirió deltas de peso int8 (aprox. 82 MB) en lugar de checkpoints completos para gestionar la brecha off-policy.
• Un filtro de probabilidad estilo DPPO eliminó tokens con deriva significativa de probabilidad entre los modelos de rollout y entrenador.
• En PaperSearchQA, cover pass@1 aumentó del 29% al 63%, y la tasa de búsqueda subió del 22% al 84%.

Este enfoque demuestra que entrenar en hardware de consumo distribuido es viable, manteniendo potencialmente los modelos abiertos accesibles a medida que los modelos de vanguardia se mueven detrás de APIs cerradas.