Um usuário lançou uma quantização GGUF personalizada do modelo Qwen 3.5 122B, chamada "Heretic", utilizando técnicas ROCmFP4 e iMatrix.

  • O checkpoint é projetado para hardware Strix Halo com 10 bilhões de parâmetros ativos.
  • Requer aproximadamente 60.70 GiB de memória.
  • Os benchmarks indicam um desempenho de 28.45 tokens por segundo em precisão BF16.
  • O modelo alcança uma perplexidade (KLD) de 0.100716 e uma vazão de pipeline de 353.3 tokens por segundo.