Las pruebas muestran que vLLM alcanza velocidades de generación significativamente mayores en los modelos Qwen3.6, con 35B-A3B alcanzando 156 t/s usando ROCm y AITER. ROCm supera a Vulkan tanto en los modelos de 35B como de 27B, con velocidades de ~106 t/s y ~44 t/s respectivamente, mientras que Vulkan alcanza ~87 t/s y ~41 t/s.
Rendimiento de ROCm vs Vulkan vs vLLM en dos R9700
Traducido del English → Español