Un utilisateur a publié une quantification GGUF personnalisée du modèle Qwen 3.5 122B, nommée "Heretic", utilisant les techniques ROCmFP4 et iMatrix.

  • Le checkpoint est conçu pour le matériel Strix Halo avec 10 milliards de paramètres actifs.
  • Il nécessite environ 60,70 GiB de mémoire.
  • Les benchmarks indiquent une performance de 28,45 tokens par seconde en précision BF16.
  • Le modèle atteint une perplexité (KLD) de 0,100716 et un débit de pipeline de 353,3 tokens par seconde.