あるユーザーが、Hugging Face Spaces上でマルチGPU環境をデプロイする実現可能性と構成について問い合わせています。このリクエストでは、VRAMが40GBを超える8つのGPUが必要であると指定されています。
ユーザーは、同じSpace内で生成モデル用に4つのGPUを割り当て、vLLMモデル用に残りの4つを使用する計画です。推奨される構成手順、適切なGPUハードウェアのティア、リソース分割のベストプラクティス、および関連する価格やクォータ制限に関するアドバイスを探しています。
あるユーザーが、Hugging Face Spaces上でマルチGPU環境をデプロイする実現可能性と構成について問い合わせています。このリクエストでは、VRAMが40GBを超える8つのGPUが必要であると指定されています。
ユーザーは、同じSpace内で生成モデル用に4つのGPUを割り当て、vLLMモデル用に残りの4つを使用する計画です。推奨される構成手順、適切なGPUハードウェアのティア、リソース分割のベストプラクティス、および関連する価格やクォータ制限に関するアドバイスを探しています。