Aleph Alpha ha lanzado Kolibri-1, un modelo de lenguaje Mixture-of-Experts de pesos abiertos diseñado para tareas bilingües en inglés y alemán. El modelo cuenta con 78.100 millones de parámetros totales pero activa solo 3.460 millones por token, lo que le permite ejecutarse en una única GPU B200, B300 o H200.

  • Kolibri admite hasta 1.048.576 tokens de contexto utilizando una arquitectura de atención híbrida con capas de ventana deslizante y atención completa.
  • Fue entrenado con 24 billones de tokens, incluyendo más de 2 billones de tokens alemanes curados, seguido de ajuste fino supervisado y aprendizaje por refuerzo.
  • El modelo alcanza las mejores puntuaciones entre sus competidores en los benchmarks de inglés (75.5) y alemán (70.8), liderando GPQA Diamond con 84.3.
  • Los pesos están disponibles bajo la licencia Apache 2.0 en Hugging Face, optimizados para despliegues soberanos en sectores regulados como la administración pública.

El lanzamiento apunta al cumplimiento de normativas de la UE como la Ley de IA y el RGPD, ofreciendo una solución desplegable para industrias que requieren soberanía de datos y razonamiento de alto rendimiento.