A Meta lançou publicamente o Llama 3.1, apresentando seu modelo principal de 405B parâmetros junto às versões atualizadas de 8B e 70B. A empresa posiciona o modelo 405B como o maior modelo de base amplamente disponível do mundo, afirmando que ele rivaliza com os principais modelos de IA fechados em capacidades como conhecimento geral, matemática e uso de ferramentas.

  • O Llama 3.1 405B foi treinado com mais de 15 trilhões de tokens usando mais de 16.000 GPUs H100 e quantizado para numeração de 8 bits (FP8) para inferência eficiente.
  • Os modelos atualizados de 8B e 70B apresentam comprimento de contexto de 128K, suporte multilíngue e capacidades de raciocínio aprimoradas.
  • A Meta atualizou a licença para permitir que desenvolvedores usem as saídas do modelo para melhorar outros modelos, incluindo por meio de geração de dados sintéticos e destilação.
  • Avaliações de desempenho sugerem competitividade com GPT-4, GPT-4o e Claude 3.5 Sonnet em mais de 150 conjuntos de dados de benchmark.
  • O lançamento inclui Llama Guard 3, Prompt Guard e uma proposta para "Llama Stack" para padronizar as interfaces dos componentes.

O lançamento visa reduzir as barreiras para desenvolvedores ao fornecer pesos personalizáveis que podem ser executados localmente ou em instalações próprias sem compartilhar dados com a Meta.