一名用户发布了 Qwen 3.5 122B 模型的自定义 GGUF 量化版本，名为“Heretic”，采用了 ROCmFP4 和 iMatrix 技术。

  • 该检查点专为拥有 100 亿激活参数的 Strix Halo 硬件设计。
  • 需要大约 60.70 GiB 的内存。
  • 基准测试显示在 BF16 精度下的性能为每秒 28.45 个 token。
  • 该模型达到了 0.100716 的困惑度 (KLD) 和每秒 353.3 个 token 的流水线吞吐量。