Автор интегрировал диагностический инструмент в TraceML, проект с открытым исходным кодом для наблюдаемости PyTorch, чтобы помочь пользователям различать проблемы производительности обучения, ограниченные вычислениями GPU и ограничениями ввода. Эта новая функция позволяет разработчикам быстро определить, вызвана ли низкая утилизация GPU медленной загрузкой данных или реальными пределами вычислений модели.

  • Интеграция добавляет `TraceMLTrainerCallback` в Hugging Face `Trainer`, требуя минимальных изменений в настройке.
  • Она разделяет время ожидания ввода и работу шага, чтобы предоставить практический вердикт о типе узкого места.
  • Пример в Colab с ResNet-50 показал, что изменение настроек DataLoader изменило диагноз с ограничения ввода на вычисления и ускорило процесс в 1.83 раза.

Этот инструмент помогает пользователям избегать оптимизации неправильного компонента, уточняя конкретное ограничение, влияющее на их процессы обучения.