Penulis telah membangun MOLT, runtime yang mengutamakan Windows untuk penyetelan halus QLoRA yang sadar termal pada GPU konsumen NVIDIA, dan melakukan benchmarking terhadap Unsloth menggunakan satu juta target pelatihan Qwen 1.5B pada GPU RTX 4060 Laptop.

  • Waktu sesi end-to-end adalah 1.103 detik untuk MOLT versus 1.433 detik untuk Unsloth, pengurangan 23% dalam total waktu pelatihan.
  • Throughput pelatihan mencapai 1.063 target/detik dengan MOLT dibandingkan 768 target/detik dengan Unsloth, mewakili peningkatan 38%.
  • VRAM yang dialokasikan puncak adalah 1,63 GB untuk MOLT versus 1,85 GB untuk Unsloth, penurunan 12% dalam penggunaan memori.
  • Konsumsi energi papan yang diukur hampir identik pada 63,1 kJ untuk MOLT dan 63,8 kJ untuk Unsloth.

Penulis mencatat ini adalah bukti pengembangan mesin tunggal, benih tunggal, dan mengundang pengguna GPU NVIDIA Windows untuk mereproduksi benchmark dan menguji beban kerja mereka sendiri.