Pluralis Research는 롤아웃 플리트 전체가 공개 인터넷을 통해 연결된 소비자용 Mac에서 작동하는 최초의 RL 사후 학습 실행에 성공했습니다. 이 설정은 MLX를 사용한 int8 추론을 위해 4개국에 걸쳐 있는 14대의 Mac을 활용했으며, bf16 그래디언트 업데이트는 단일 B200이 처리했습니다.

  • 데이터센터 간 연결 없이 일반 가정용 인터넷을 통해 Cloudflare R2로 롤아웃 동기화.
  • 오프폴리시 갭 관리를 위해 전체 체크포인트 대신 int8 가중치 델타(약 82 MB)를 PULSE가 전송.
  • DPPO 스타일 확률 게이트가 롤아웃 모델과 트레이너 모델 간 유의미한 확률 드리프트가 있는 토큰을 필터링.
  • PaperSearchQA에서 cover pass@1이 29%에서 63%로 증가했고, 검색률은 22%에서 84%로 상승했습니다.

이 접근 방식은 분산 소비자 하드웨어에서의 학습이 실현 가능함을 보여주며, 프론티어 모델이 폐쇄된 API 뒤로 이동하는 동안 오픈 모델의 접근성을 유지할 가능성을 시사합니다.