PrismML Bonsai 27B 모델은 Jetson Orin Nano 8GB에서 사용 가능하며, 약 25W의 전력을 소비하는 것으로 보고되었습니다.

  • 프롬프트 처리 속도는 초당 27토큰에 도달합니다.
  • 컨텍스트 크기 48k에서 생성 속도는 초당 4.31토큰입니다.
  • 메모리 매핑 없이 시작 시 RAM 사용량은 6.2GB입니다.

이 설정은 modest한 성능 지표에도 불구하고 복잡한 작업을 효과적으로 처리할 수 있는 능력을 갖추고 있다고 설명됩니다.