TraceML是一个开源的PyTorch训练诊断工具,被用于复现已知的LeRobot训练回归问题,并评估上游修复#2408的影响。分析显示,虽然大多数DataLoader获取操作都很快,但重复的获取操作此前耗时超过五秒。
- 修复后,步长时间从约1500ms减少到117ms。
- CPU DataLoader获取时间在第一个批次中从~1375ms降至1.5ms,在第二个批次中从~1427ms降至1.3ms。
- 计算时间保持在110–116ms左右稳定不变,证实工作负载已从INPUT-BOUND转变为COMPUTE-BOUND。
该工具通过监控训练循环并在两次运行之间比较计时数据,帮助识别在更改后训练变慢时额外时间消耗在哪里。