A Together oferece um framework para que empresas migrem de modelos de IA proprietários para modelos de código aberto (OSM) usando serviços gerenciados, com o objetivo de reduzir a complexidade e acelerar a adoção. O processo envolve descobrir modelos adequados por meio de benchmarks, avaliá-los via replay de tráfego, adaptar prompts ou pesos e calcular o ROI para justificar a mudança.

  • A descoberta depende de definir casos de uso e filtrar candidatos usando benchmarks como LMArena e FrontierCode.
  • A avaliação prioriza o replay de tráfego com dados reais em vez de rankings genéricos para avaliar métricas de precisão e desempenho, como custo por tarefa.
  • A adaptação envolve ajuste iterativo de prompts do sistema, parâmetros de amostragem ou ajuste fino dos pesos do modelo para igualar a qualidade dos modelos proprietários.
  • Os cálculos de ROI podem mostrar uma redução de custos de até 70%, ajudando as partes interessadas a aprovar a migração com base em valor quantificável.
  • O lançamento na produção geralmente começa com implantações canário de 10% do tráfego para validar a estabilidade antes da adoção completa.

Essa abordagem permite que empresas contornem ciclos tradicionais lentos de migeração ao alavancar serviços gerenciados e testes iterativos para alcançar transições mais rápidas e de menor risco.