オープンソースのPyTorchトレーニング診断ツールであるTraceMLは、既知のLeRobotトレーニング回帰を再現し、アップストリーム修正#2408の影響を測定するために使用されました。分析の結果、大部分のDataLoaderフェッチは高速でしたが、繰り返し発生するフェッチは以前は5秒以上かかっていました。
- 修正後、ステップ時間は約1500msから117msに減少しました。
- CPU DataLoaderフェッチ時間は、最初のペアで~1375msから1.5msに、2番目のペアで~1427msから1.3msに低下しました。
- 計算時間は110–116msの範囲で安定しており、ワークロードがINPUT-BOUNDからCOMPUTE-BOUNDに移行したことが確認されました。
このツールは、変更後にトレーニングが遅くなった際に追加の時間がどこに費やされているかを特定するのに役立ちます。トレーニングループを計測し、2つの実行間のタイミングを比較することで機能します。