Aleph Alpha 发布了 Kolibri-1，这是一款专为英德双语任务设计的开源权重混合专家语言模型。该模型总共包含 781 亿个参数，但每个 token 仅激活 34.6 亿个，使其能够在单张 B200、B300 或 H200 GPU 上运行。
- Kolibri 使用结合滑动窗口和全注意力层的混合注意力架构，支持高达 1,048,576 个 token 的上下文。
- 它基于 24 万亿个 token 进行训练，其中包括超过 2 万亿个精心策划的德语 token，随后进行了监督微调和强化学习。
- 该模型在英语（75.5）和德语（70.8）基准测试中均取得领先成绩，并在 GPQA Diamond 上以 84.3 分领先。
- 权重以 Apache 2.0 许可证在 Hugging Face 上提供，针对公共行政等受监管领域的自主部署进行了优化。
此次发布旨在符合欧盟《人工智能法案》和 GDPR 等法规，为需要数据主权和高性能推理的行业提供可部署的解决方案。