Lucebox는 Nvidia DGX Spark보다 추론 속도가 뛰어난 이종 소비자 하드웨어 구성을 시연하기 위해 AMD와 파트너십을 맺었습니다. 이 시스템은 전체 284B DeepSeek V4 Flash 모델을 실행하기 위해 AMD Radeon AI PRO R9700 GPU와 Strix Halo 프로세서를 결합합니다.
- 이 구성은 전체 모델에서 51.1 tok/s의 디코딩 속도를 달성합니다.
- 단일 Nvidia DGX Spark 장치 대비 3.63배의 성능 우위를 제공합니다.
- R9700은 밀집 경로, 핫 전문가, 캐시 및 드래프트 모델을 처리하고, Strix Halo는 병렬 계산을 위해 128GB 메모리에서 다른 전문가를 관리합니다.
- 이 구성의 비용은 두 대의 Nvidia DGX Spark 장치를 구매하는 것보다 $2,899 저렴합니다.
저자들은 이것이 16k 컨텍스트로 Q2 모델을 실행하는 실험적 구현이며, 64k-128k 컨텍스트를 지원하기 위해 KVFlash를 구현할 계획이라고 언급했습니다.