A Aleph-Alpha lançou o Kolibri-1, um grande modelo de linguagem disponível no Hugging Face sob a licença Apache 2.0.

  • O modelo contém 78 bilhões de parâmetros totais com 3,46 bilhões de parâmetros ativos.
  • Suporta uma janela de contexto de até 1 milhão de tokens.
  • Um relatório técnico detalhando a arquitetura e o treinamento do modelo está disponível na Aleph-Alpha.

O lançamento oferece uma opção de pesos abertos para usuários que exigem capacidades de contexto longo.