Meta ha lanzado públicamente Llama 3.1, presentando su modelo insignia de 405B parámetros junto con las versiones mejoradas de 8B y 70B. La empresa posiciona el modelo 405B como el modelo base más grande disponible abiertamente en el mundo, afirmando que rivaliza con los principales modelos de IA cerrados en capacidades como conocimiento general, matemáticas y uso de herramientas.

  • Llama 3.1 405B fue entrenado con más de 15 billones de tokens utilizando más de 16,000 GPUs H100 y cuantizado a numéricos de 8 bits (FP8) para una inferencia eficiente.
  • Los modelos mejorados de 8B y 70B cuentan con una longitud de contexto de 128K, soporte multilingüe y capacidades de razonamiento mejoradas.
  • Meta actualizó la licencia para permitir a los desarrolladores usar las salidas del modelo para mejorar otros modelos, incluyendo mediante la generación de datos sintéticos y destilación.
  • Las evaluaciones de rendimiento sugieren competitividad con GPT-4, GPT-4o y Claude 3.5 Sonnet en más de 150 conjuntos de datos de referencia.
  • El lanzamiento incluye Llama Guard 3, Prompt Guard y una propuesta para "Llama Stack" que estandarice las interfaces de los componentes.

El lanzamiento tiene como objetivo reducir las barreras para los desarrolladores al proporcionar pesos personalizables que se pueden ejecutar en instalaciones propias o localmente sin compartir datos con Meta.