प्रतिवेदन है कि PrismML Bonsai 27B मॉडल Jetson Orin Nano 8GB पर उपयोग योग्य है, जिसमें लगभग 25W की शक्ति खपत होती है।
- प्रॉम्प्ट प्रसंस्करण गति प्रति सेकंड 27 टोकन तक पहुँचती है।
- 48k के संदर्भ आकार के साथ जनरेशन गति प्रति सेकंड 4.31 टोकन है।
- मेमोरी मैपिंग के बिना कोल्ड स्टार्ट पर RAM उपयोग 6.2GB है।
मोटे प्रदर्शन मापदंडों के बावजूद, सेटअप को जटिल कार्यों को प्रभावी ढंग से संभालने में सक्षम के रूप में वर्णित किया गया है।