Lucebox s'est associé à AMD pour démontrer une configuration matérielle hétérogène grand public qui surpasse Nvidia DGX Spark en vitesse d'inférence. Le système combine un GPU AMD Radeon AI PRO R9700 avec un processeur Strix Halo pour exécuter le modèle complet DeepSeek V4 Flash de 284B.

  • La configuration atteint une vitesse de décodage de 51,1 tok/s sur le modèle complet.
  • Elle offre un avantage de performance de 3,63x par rapport à une unité Nvidia DGX Spark unique.
  • La R9700 gère le chemin dense, les experts chauds, le cache et le modèle brouillon, tandis que Strix Halo gère les autres experts dans 128 Go de mémoire pour un calcul simultané.
  • La configuration coûte 2 899 $ de moins que l'achat de deux dispositifs Nvidia DGX Spark.

Les auteurs notent qu'il s'agit d'une implémentation expérimentale exécutant un modèle Q2 avec un contexte de 16k, avec des plans pour implémenter KVFlash afin de prendre en charge les contextes de 64k-128k.