一位Reddit用户正在寻求社区建议,以确定在配备四块NVIDIA Blackwell GPU(提供约384GB显存)的自定义本地服务器上部署哪种大型语言模型。该用户的组织计划托管该模型以用于内部政策管理和思维任务,预计将有两到三名高级用户使用,最多同时支持二十名用户。

发帖者表示目前倾向于DeepSeek V3 Flash,并提到硬件规格包括四块RTX PRO 6000。他们还表示有兴趣了解如果系统将扩展至八块Blackwell GPU,模型选择可能会如何变化。

此查询突显了企业对用于企业级内部AI应用的高端本地推理硬件日益增长的兴趣。