ロジットベースの知識蒸留に関する探索的研究を共有している研究者は、コミュニティに対して現実世界の産業経験とエンジニアリングの洞察を求めています。

  • 著者はCIFAR-10/100上でResNetアーキテクチャ、量子化、90%プルーニングを実験し、ハイパーパラメータ選択とアーキテクチャの影響を理解しようとしました。
  • 蒸留の使用に至った問題の文脈、採用された特定のアプローチ、および遭遇した自明でない困難に関する詳細を求めています。
  • リクエストは、予期せぬトレードオフや蒸留プロセスについてより深い洞察が必要だった状況に焦点を当てています。

目標は、エンジニアリング課題の具体的な例を集めることで、学術的な探求と実践的な産業応用の間のギャップを埋めることです。