あるRedditユーザーは、ホスト型APIを通じてロングテールのコミュニティファインチューン、ロールプレイモデル、ニッチなコーダーモデルにアクセスすることの難しさを指摘しています。人気のあるモデルはよくサポートされていますが、マイナーなモデルはセルフホスティングするか、Modal、RunPod、Basetenなどのプラットフォームにデプロイする必要があります。

この投稿は、開発者が現在このギャップをどのように扱っているか、また価格、正確なモデルの可用性、OpenAI互換の動作、アップタイム、プライバシー、ハードウェアの透明性など、サービスを選択する際に最も重要な要因は何かを問うています。

議論の中心は、OpenRouter、Together、Fireworks、DeepInfraなどの既存のアグリゲーターを使用することと、特定のGGUFファイルに対してvLLMやllama.cppサーバーを手動でデプロイすることのトレードオフにあります。