Aleph-Alpha ha lanzado Kolibri-1, un modelo de lenguaje grande disponible en Hugging Face bajo la licencia Apache 2.0.

  • El modelo contiene 78 mil millones de parámetros totales con 3.46 mil millones de parámetros activos.
  • Soporta una ventana de contexto de hasta 1 millón de tokens.
  • Un informe técnico que detalla la arquitectura y el entrenamiento del modelo está disponible desde Aleph-Alpha.

El lanzamiento proporciona una opción de pesos abiertos para usuarios que requieren capacidades de contexto largo.