A Aleph Alpha lançou o Kolibri-1, um modelo de linguagem Mixture-of-Experts de pesos abertos projetado para tarefas bilíngues em inglês e alemão. O modelo possui 78,1 bilhões de parâmetros totais, mas ativa apenas 3,46 bilhões por token, permitindo que seja executado em uma única GPU B200, B300 ou H200.

  • O Kolibri suporta até 1.048.576 tokens de contexto usando uma arquitetura de atenção híbrida com camadas de janela deslizante e atenção completa.
  • Ele foi treinado em 24 trilhões de tokens, incluindo mais de 2 trilhões de tokens alemães curados, seguido por ajuste fino supervisionado e aprendizado por reforço.
  • O modelo alcança as melhores pontuações entre seus concorrentes nos benchmarks de inglês (75,5) e alemão (70,8), liderando o GPQA Diamond com 84,3.
  • Os pesos estão disponíveis sob a licença Apache 2.0 no Hugging Face, otimizados para implantação soberana em setores regulados como a administração pública.

O lançamento visa a conformidade com regulamentações da UE, como o AI Act e o GDPR, oferecendo uma solução implantável para indústrias que exigem soberania de dados e raciocínio de alto desempenho.