あるユーザーが、NVIDIA RTX 5090 GPU上でNVFP4量子化形式の35Bパラメータモデルを実行するための推奨事項と支援を求めています。目標には、100k以上のトークン長のコンテキストをサポートすることが含まれ、できれば無制限または専門的なモデルでの実行を目指しています。

  • AEON-7 Ornith 1.0 35B Uncensored NVFP4の実行試みは失敗し、推奨されるserveコマンドがGDX Spark 128GBハードウェア向けに最適化されていたことが判明しました。
  • ユーザーは35B .ggufモデルの実行には問題ないと報告していますが、この特定のセットアップに対してvLLMを正常に構成できていません。

この投稿は、拡張されたコンテキストウィンドウを持つ消費者向けRTX 5090ハードウェア上で高容量のNVFP4モデルを展開する際の現在の課題を浮き彫りにしています。