Seorang peneliti yang membagikan karya eksploratorisnya tentang distilasi pengetahuan berbasis logit meminta komunitas untuk berbagi pengalaman industri dunia nyata dan wawasan rekayasa.

  • Penulis bereksperimen dengan arsitektur ResNet, kuantisasi, dan 90% pruning pada CIFAR-10/100 untuk memahami pemilihan hiperparameter dan dampak arsitektural.
  • Mereka mencari detail tentang konteks masalah yang mengarah pada penggunaan distilasi, pendekatan spesifik yang diambil, dan kesulitan tidak jelas yang dihadapi.
  • Permintaan ini berfokus pada trade-off yang tidak terduga dan situasi di mana lebih banyak wawasan ke dalam proses distilasi diperlukan.

Tujuannya adalah menjembatani kesenjangan antara eksplorasi akademis dan penerapan industri praktis dengan mengumpulkan contoh konkret tantangan rekayasa.