Seorang pengguna telah merilis kuantisasi GGUF khusus dari model Qwen 3.5 122B, bernama "Heretic", yang memanfaatkan teknik ROCmFP4 dan iMatrix.

  • Checkpoint ini dirancang untuk perangkat keras Strix Halo dengan 10 miliar parameter aktif.
  • Diperlukan sekitar 60,70 GiB memori.
  • Benchmark menunjukkan kinerja sebesar 28,45 token per detik dalam presisi BF16.
  • Model ini mencapai perplexity (KLD) sebesar 0,100716 dan throughput pipeline sebesar 353,3 token per detik.