Se informa que el modelo PrismML Bonsai 27B es utilizable en el Jetson Orin Nano 8GB, consumiendo aproximadamente 25W de energía.

  • La velocidad de procesamiento de prompts alcanza 27 tokens por segundo.
  • La velocidad de generación es de 4.31 tokens por segundo con un tamaño de contexto de 48k.
  • El uso de RAM es de 6.2 GB en inicio en frío sin mapeo de memoria.

La configuración se describe como capaz de manejar tareas complejas de manera efectiva a pesar de las modestas métricas de rendimiento.