Discusión de Reddit sobre el alojamiento de modelos aleatorios GGUF y abiertos a través de API

Un usuario de Reddit destaca la dificultad de acceder a ajustes finos comunitarios de largo alcance, modelos de roleplay y modelos de codificación de nicho a través de APIs alojadas, señalando que mientras los modelos populares están bien soportados, los oscuros requieren autoalojamiento o despliegue en plataformas como Modal, RunPod o Baseten. La publicación pregunta cómo manejan actualmente este vacío los desarrolladores y qué factores son más importantes al elegir un servicio, como el precio, la disponibilidad exacta del modelo, el comportamiento compatible con OpenAI, la disponibilidad, la privacidad o la transparencia del hardware.

La discusión se centra en los compromisos entre usar agregadores existentes como OpenRouter, Together, Fireworks y DeepInfra versus desplegar manualmente servidores vLLM o llama.cpp para archivos GGUF específicos.