PrismML Bonsai 27Bモデルは、Jetson Orin Nano 8GBで使用可能であり、消費電力は約25Wであることが報告されています。

  • プロンプト処理速度は1秒あたり27トークンに達します。
  • コンテキストサイズ48kで生成速度は1秒あたり4.31トークンです。
  • メモリマップなしの起動時にRAM使用量は6.2GBです。

このセットアップは、控えめなパフォーマンス指標にもかかわらず、複雑なタスクを効果的に処理できる能力があると説明されています。