PrismML Bonsai 27B roda no Jetson Orin Nano 8GB com 4.31 t/s e 6.2 GB de RAM

Relata-se que o modelo PrismML Bonsai 27B é utilizável no Jetson Orin Nano 8GB, consumindo aproximadamente 25W de energia.

• A velocidade de processamento do prompt atinge 27 tokens por segundo.
• A velocidade de geração é de 4.31 tokens por segundo com um tamanho de contexto de 48k.
• O uso de RAM é de 6.2 GB em inicialização a frio sem mapeamento de memória.

A configuração é descrita como capaz de lidar com tarefas complexas de forma eficaz, apesar das métricas de desempenho modestas.