NVIDIA menguraikan bagaimana kinerja AI bergantung pada tiga dimensi: akurasi, throughput, dan interaktivitas. Perusahaan menekankan bahwa sistem praktis harus mengoptimalkan faktor-faktor ini bersama-sama daripada fokus pada satu metrik.
- Akurasi tinggi tidak efektif jika respons model lambat.
- Throughput mentah memberikan sedikit nilai jika pengalaman pengguna terganggu oleh lag.
- Pilihan desain model secara langsung memengaruhi throughput dan interaktivitas.
- Penyebaran memerlukan menyeimbangkan ketiga dimensi ini untuk memastikan kinerja yang efektif.