Пользователь Reddit отмечает сложность доступа к длиннохвостым сообществовым дообученным моделям, ролевым моделям и нишевым моделям для кодинга через хостинговые API, отмечая, что популярные модели хорошо поддерживаются, а малопопулярные требуют самостоятельного размещения или развертывания на таких платформах, как Modal, RunPod или Baseten. В посте спрашивается, как разработчики в настоящее время решают эту проблему и какие факторы имеют наибольшее значение при выборе сервиса, такие как цена, точная доступность модели, поведение, совместимое с OpenAI, время безотказной работы, конфиденциальность или прозрачность оборудования.
Обсуждение сосредоточено на компромиссах между использованием существующих агрегаторов, таких как OpenRouter, Together, Fireworks и DeepInfra, против ручного развертывания серверов vLLM или llama.cpp для конкретных файлов GGUF.