PrismML Bonsai 27B berjalan di Jetson Orin Nano 8GB dengan 4,31 t/s dan RAM 6,2GB

Model PrismML Bonsai 27B dilaporkan dapat digunakan pada Jetson Orin Nano 8GB, mengonsumsi daya sekitar 25W.

• Kecepatan pemrosesan prompt mencapai 27 token per detik.
• Kecepatan generasi adalah 4,31 token per detik dengan ukuran konteks 48k.
• Penggunaan RAM adalah 6,2GB saat cold start tanpa pemetaan memori.

Pengaturan ini dijelaskan mampu menangani tugas-tugas kompleks secara efektif meskipun metrik performanya modest.