据报道，PrismML Bonsai 27B 模型可在 Jetson Orin Nano 8GB 上使用，功耗约为 25W。

  • 提示处理速度达到每秒 27 个 token。
  • 上下文大小为 48k 时，生成速度为每秒 4.31 个 token。
  • 在无内存映射的冷启动状态下，RAM 使用量为 6.2GB。

尽管性能指标 modest，但该设置被描述为能够有效处理复杂任务。