TraceML, инструмент диагностики обучения на PyTorch с открытым исходным кодом, был использован для воспроизведения известной регрессии в обучении LeRobot и оценки влияния исправления #2408 из основного репозитория. Анализ показал, что хотя большинство выборок DataLoader происходили быстро, повторяющиеся выборки ранее занимали более пяти секунд.

  • Время шага уменьшилось с примерно 1500 мс до 117 мс после исправления.
  • Время выборки CPU DataLoader сократилось с ~1375 мс до 1,5 мс в первой паре и с ~1427 мс до 1,3 мс во второй паре.
  • Время вычислений оставалось стабильным на уровне 110–116 мс, что подтверждает смещение нагрузки с INPUT-BOUND к COMPUTE-BOUND.

Инструмент помогает определить, куда уходит дополнительное время при замедлении обучения после изменений, путем внедрения кода измерения времени в цикл обучения и сравнения таймингов между двумя запусками.