オープンソースプロジェクトのmlx-smolvlaは、Apple Silicon上でMLXを使用してSmolVLAチェックポイントを実行するためのPythonランタイムを提供し、推論、LeRobotプロトコルサーバー、LoRAトレーニングのプレビュー機能を備えています。Apple M5 Proでのベンチマークでは、MLXパスは50アクションチャンクで110.75 msの中央値レイテンシを実現し、PyTorch-MPSより1.85倍高速です。

  • ランタイムはTorchやTransformersの依存関係のないネイティブMLXです。
  • 厳格なCPU互換性レーンはPyTorchとの決定論的な比較を保証し、Metalは統計的チェックを使用します。
  • プロジェクトにはLeRobotの非同期推論gRPCプロトコルを実装するポリシーサーバーが含まれています。
  • LoRAトレーニングは現在、限られたパラリティ検証付きの研究プレビューです。

著者は、生のベースチェックポイントには効果的な物理アクションインターフェースが欠けており、モーションクライアントには一致するロボット統計情報を持つレビュー済みチェックポイントが必要であると述べています。