Un utilisateur de Reddit souligne la difficulté d'accéder aux fine-tunes communautaires de longue traîne, aux modèles de jeu de rôle et aux modèles de codeurs de niche via des APIs hébergées, notant que si les modèles populaires sont bien pris en charge, les modèles obscurs nécessitent un auto-hébergement ou un déploiement sur des plateformes comme Modal, RunPod ou Baseten.
Le post demande comment les développeurs gèrent actuellement ce manque et quels facteurs sont les plus importants lors du choix d'un service, tels que le prix, la disponibilité exacte du modèle, le comportement compatible OpenAI, la disponibilité, la confidentialité ou la transparence matérielle.
La discussion porte sur les compromis entre l'utilisation d'agrégateurs existants comme OpenRouter, Together, Fireworks et DeepInfra versus le déploiement manuel de serveurs vLLM ou llama.cpp pour des fichiers GGUF spécifiques.