Исследователь, делящийся своими исследовательскими работами по дистилляции знаний на основе логитов, просит сообщество поделиться реальным опытом работы в отрасли и инженерными знаниями.

  • Автор экспериментировал с архитектурами ResNet, квантованием и 90% прунингом на CIFAR-10/100, чтобы понять выбор гиперпараметров и влияние архитектуры.
  • Он ищет детали о контекстах проблем, которые привели к использованию дистилляции, конкретных примененных подходах и неочевидных трудностях, с которыми столкнулся.
  • Запрос сосредоточен на неожиданных компромиссах и ситуациях, когда потребовалось больше понимания процесса дистилляции.

Цель — преодолеть разрыв между академическими исследованиями и практическим применением в отрасли, собрав конкретные примеры инженерных вызовов.