Un usuario ha lanzado una cuantización GGUF personalizada del modelo Qwen 3.5 122B, llamada "Heretic", que utiliza técnicas ROCmFP4 e iMatrix.

  • El checkpoint está diseñado para hardware Strix Halo con 10 mil millones de parámetros activos.
  • Requiere aproximadamente 60.70 GiB de memoria.
  • Los benchmarks indican un rendimiento de 28.45 tokens por segundo en precisión BF16.
  • El modelo alcanza una perplejidad (KLD) de 0.100716 y un rendimiento de canalización de 353.3 tokens por segundo.