Pluralis Research успешно выполнила первый запуск RL постобучения, при котором весь флот роутов работал на потребительских Mac, подключенных через открытый интернет. Конфигурация использовала 14 Mac в четырех странах для int8 инференса с MLX, в то время как один B200 обрабатывал bf16 градиентные обновления.

  • Роуты синхронизировались через Cloudflare R2 по обычному домашнему интернету без датацентровых интерконнектов.
  • PULSE передавал int8 весовые дельты (около 82 MB) вместо полных чекпоинтов для управления off-policy разрывом.
  • Вероятностный гейт в стиле DPPO отфильтровывал токены с значительным дрейфом вероятности между моделями роутов и тренера.
  • На PaperSearchQA cover pass@1 увеличился с 29% до 63%, а скорость поиска выросла с 22% до 84%.

Этот подход демонстрирует, что обучение на распределенном потребительском оборудовании жизнеспособно, потенциально сохраняя открытые модели доступными по мере того, как передовые модели переходят за закрытые API.