Un utilisateur a réussi à exécuter le modèle MoE HY3 (295B-A21B) de Tencent sur un MacBook M5 Max doté de 128 Go de mémoire unifiée, en utilisant un point de contrôle GGUF quantisé et llama.cpp. Cette configuration a atteint des vitesses de génération de tokens environ deux fois supérieures à celles de DeepSeek v4 Flash tout en maintenant une qualité de sortie comparable ou supérieure.

  • Le modèle utilise la quantisation 3 bits "unsloth dynamic" UD128 (107 Go) de l'utilisateur Hugging Face YanissAmz.
  • La prise en charge de l'architecture de HY3 et du décodage spéculatif a été ajoutée à llama.cpp via la PR #25395.
  • Les benchmarks sur le M5 Max ont affiché une vitesse de décodage de 32,4 tokens/seconde avec un contexte vide et de 16,3 tokens/seconde avec un contexte de 16K.
  • L'utilisateur a noté que les performances pratiques sur des prompts normaux et l'utilisation d'outils de base étaient supérieures à son précédent setup DeepSeek v4.

L'auteur met en avant HY3 comme une option MoE large prometteuse pour le déploiement local sur du matériel grand public à haute mémoire, encourageant les autres à le tester.