एक Reddit उपयोगकर्ता होस्ट किए गए API के माध्यम से लंबी-छांटी समुदाय फाइन-ट्यून्स, रोलप्ले मॉडल और निश कोडर मॉडल तक पहुंचने की कठिनाई को उजागर करता है, यह नोट करते हुए कि जबकि लोकप्रिय मॉडल अच्छी तरह से समर्थित हैं, अस्पष्ट मॉडल के लिए स्वयं होस्टिंग या Modal, RunPod, या Baseten जैसी प्लेटफार्मों पर तैनाती की आवश्यकता होती है। पोस्ट पूछता है कि डेवलपर वर्तमान में इस अंतर को कैसे संभालते हैं और एक सेवा चुनते समय सबसे महत्वपूर्ण कारक क्या हैं, जैसे कि मूल्य, सटीक मॉडल उपलब्धता, OpenAI-संगत व्यवहार, अपटाइम, गोपनीयता, या हार्डवेयर पारदर्शिता।
चर्चा मौजूदा एग्रीगेटर जैसे OpenRouter, Together, Fireworks, और DeepInfra का उपयोग करने के बीच के समझौतों पर केंद्रित है बनाम विशिष्ट GGUF फ़ाइलों के लिए vLLM या llama.cpp सर्वर को मैन्युअल रूप से तैनात करना।