API를 통해 무작위 GGUF 및 오픈 모델을 호스팅하는 것에 대한 Reddit 토론

한 Reddit 사용자는 호스팅된 API를 통해 롱테일 커뮤니티 파인튜인, 역할극 모델, 니치 코더 모델에 접근하는 어려움을 강조하며, 인기 있는 모델은 잘 지원되지만 희귀한 모델은 자체 호스팅하거나 Modal, RunPod, Baseten과 같은 플랫폼에 배포해야 한다고 지적했습니다.

이 게시물은 개발자들이 현재 이 격차를 어떻게 처리하고 있는지, 그리고 가격, 정확한 모델 가용성, OpenAI 호환 동작, 업타임, 프라이버시, 하드웨어 투명성 등 서비스를 선택할 때 가장 중요한 요소가 무엇인지 묻고 있습니다.

토론의 중심은 OpenRouter, Together, Fireworks, DeepInfra와 같은 기존 애그리게이터를 사용하는 것과 특정 GGUF 파일을 위해 vLLM 또는 llama.cpp 서버를 수동으로 배포하는 것 사이의 트레이드오프에 맞춰져 있습니다.