Le modèle PrismML Bonsai 27B est rapporté comme utilisable sur le Jetson Orin Nano 8Go, consommant environ 25W de puissance.

  • La vitesse de traitement des prompts atteint 27 tokens par seconde.
  • La vitesse de génération est de 4,31 tokens par seconde avec une taille de contexte de 48k.
  • L'utilisation de la RAM est de 6,2Go au démarrage à froid sans mappage mémoire.

La configuration est décrite comme capable de gérer efficacement des tâches complexes malgré les métriques de performance modestes.