Un usuario de Reddit está solicitando datos del mundo real sobre implementaciones empresariales de inteligencia artificial autoalojada, distinguiendo el uso real en producción de las pruebas de aficionados.

  • Un modelo general con RAG o inyección de contexto
  • Múltiples modelos especialistas más pequeños
  • Modelos ajustados finamente de clase 70B
  • Implementaciones más grandes de clase 405B
  • Un modelo base compartido con múltiples adaptadores

La consulta busca comprender los impulsores principales detrás de estas elecciones arquitectónicas, como el costo, la privacidad, la latencia, la calidad del modelo, el cumplimiento normativo, el riesgo del proveedor o la simplicidad operativa.