media Together AI Blog · há 1 h · inference

Together AI explica roteamento consciente de capacidade para inferência dedicada de modelos

Traduzido do English → Português (BR)

A Together AI detalha a arquitetura de sua plataforma de Inferência Dedicada de Modelos, que conecta endpoints, implantações e configurações imutáveis por meio de uma divisão de tráfego consciente da capacidade. Este sistema roteia solicitações com base na capacidade efetiva (peso multiplicado por réplicas prontas) em vez de porcentagens fixas, permitindo recursos como lançamentos sem tempo de inatividade e testes A/B.

As configurações especificam o mecanismo, o tipo de GPU e os perfis de otimização (latência, vazão ou equilibrado) e são imutáveis para evitar deriva do comportamento.
As implantações vinculam uma revisão específica do modelo a uma configuração e gerenciam políticas de escalonamento automático para as réplicas.
Os endpoints fornecem uma identidade estável para os clientes, usando divisões de tráfego para distribuir a carga entre as implantações proporcionalmente à sua capacidade.
A plataforma suporta coortes A/B e lançamentos canário que se compõem com a lógica básica de roteamento.

O artigo demonstra como esse modelo evita problemas de saturação durante o escalonamento e destaca a importância de testar perfis como latência versus vazão em diferentes níveis de concorrência para evitar paralisações na produção.

Importância 1/3 Confiança 1/3 Together AI Blog API & product launches Inference efficiency

Artigos relacionados

media Together AI Blog · há 5 d

Together lança Inferência de Modelo Dedicado com beta de treinamento personalizado

A Together lançou uma atualização significativa para sua plataforma de inferência, introduzindo a "Inferência de Modelo Dedicada" projetada para dar aos usuários controle total sobre desempenho, custo e qualidade para modelos de pesos abertos. A atualização também anuncia um beta fechado para capacidades de treinamento personalizado, incluindo reforço com pesos completos e LoRA.

lab OpenAI News · há 11 d · 8 visualizações

OpenAI propõe quadro de pontuação 'Inteligência Útil por Dólar' para o valor da IA

A OpenAI delineia um framework chamado "Inteligência Útil por Dólar" para ajudar empresas a medir o valor econômico de seus investimentos em IA além das métricas simples de custo por token. O artigo argumenta que o sucesso deve ser medido pelo trabalho realizado, confiabilidade e escalabilidade, em vez de apenas pelas taxas de adoção.

media r/LocalLLaMA · há 13 d · 4 visualizações

Google atualiza os modelos de chat do Gemma 4 com correções de chamada de ferramentas e suporte ao Flash Attention 4

O Google lançou uma atualização para o modelo Gemma 4 que modifica seus modelos de chat. As alterações abordam problemas significativos com as capacidades de chamada de ferramentas e reduzem a "preguiça" nas respostas do modelo.

media r/LocalLLaMA · há 16 d · 2 visualizações

Zer0Fit empacota TabFM e TimesFM do Google como um servidor MCP local

Um desenvolvedor criou o Zer0Fit, uma implementação de código aberto que serve os modelos fundamentais TabFM e TimesFM do Google como um servidor Model Context Protocol (MCP) para tarefas de aprendizado de máquina zero-shot. O projeto permite aos usuários realizar previsões, classificações e regressões localmente, sem construir ou treinar modelos personalizados.

lab Hugging Face Blog · há 20 d

O backend transformers do vLLM agora usa fusão em tempo de execução para velocidade nativa

O projeto vLLM atualizou seu backend de modelagem transformers para aplicar dinamicamente fusões de camadas específicas de inferência em tempo de execução, permitindo que modelos compatíveis alcancem velocidades de inferência nativas do vLLM sem código personalizado. Esta atualização utiliza torch.fx para análise estática e manipulação de AST para identificar e otimizar padrões como operações fundidas para Paralelismo de Especialistas em modelos Mixture-of-Experts.