A Lucebox se associou à AMD para demonstrar uma configuração de hardware heterogênea para consumidores que supera a Nvidia DGX Spark em velocidade de inferência. O sistema combina uma GPU AMD Radeon AI PRO R9700 com um processador Strix Halo para executar o modelo completo DeepSeek V4 Flash de 284B.

  • A configuração alcança uma velocidade de decodificação de 51.1 tok/s no modelo completo.
  • Ela oferece uma vantagem de desempenho de 3.63x em relação a uma única unidade Nvidia DGX Spark.
  • A R9700 lida com o caminho denso, especialistas quentes, cache e modelo rascunho, enquanto o Strix Halo gerencia outros especialistas em 128GB de memória para computação simultânea.
  • A configuração custa $2,899 a menos do que comprar dois dispositivos Nvidia DGX Spark.

Os autores observam que esta é uma implementação experimental executando um modelo Q2 com contexto de 16k, com planos de implementar o KVFlash para suportar contextos de 64k-128k.