PrismML Bonsai 27B работает на Jetson Orin Nano 8GB со скоростью 4.31 t/s и потреблением 6.2 ГБ ОЗУ

Сообщается, что модель PrismML Bonsai 27B может использоваться на Jetson Orin Nano 8GB, потребляя около 25 Вт мощности.

• Скорость обработки запроса достигает 27 токенов в секунду.
• Скорость генерации составляет 4.31 токена в секунду при размере контекста 48k.
• Использование ОЗУ составляет 6.2 ГБ при холодном старте без отображения памяти.

Настройка описывается как способная эффективно справляться со сложными задачами, несмотря на скромные показатели производительности.