WattGPU memprediksi daya dan latensi inferensi pada GPU dan LLM yang belum pernah dilihat

Para peneliti memperkenalkan WattGPU, sebuah alat yang dilengkapi dengan dua model prediktif untuk daya rata-rata GPU dan Latensi Antar-Token (ITL) yang beroperasi tanpa profil perangkat keras. Pendekatan ini memanfaatkan hanya metadata LLM yang tersedia secara publik dan spesifikasi GPU untuk digeneralisasi ke GPU server-grade NVIDIA yang belum pernah dilihat dan LLM.

• Dievaluasi pada 42 LLM open-source (0,1B--27B parameter) dan 8 GPU menggunakan validasi silang leave-one-GPU-out dan leave-one-LLM-out.
• Model daya rata-rata mencapai kesalahan persentase absolut median ≤3,4% untuk offline dan ≤13,5% untuk skenario server pada GPU yang belum pernah dilihat.
• Model latensi mencapai kesalahan ≤8,5% dalam mode server, mempertahankan korelasi peringkat GPU yang kuat (Kendall τ≥0,76).
• Mengurangi kesalahan persentase absolut median sekitar 4× dibandingkan dengan dasar Load-Scaled Thermal Design Power dan roofline untuk skenario server.

WattGPU memungkinkan operator mencocokkan LLM tertentu ke GPU paling efisien tanpa memprofilkan setiap kombinasi secara menyeluruh, mengatasi kurangnya alat untuk mengoptimalkan konsumsi energi pusat data.