Thinking Machines Lab 发布开源权重 Inkling MoE 模型

Mira Murati 的 Thinking Machines Lab 发布了 Inkling，这是其首个开源权重的多模态模型。该模型是一个拥有 975B 总参数和 41B 活跃参数的 Mixture-of-Experts 转换器，使用 45 万亿个文本、图像、音频和视频 token 进行训练。

• Inkling 采用 Apache-2.0 许可证，定位为通过实验室的 Tinker 平台进行微调的强大基础模型，而非前沿推理模型。
• 一个较小的变体 Inkling-Small（总共 276B，活跃 12B）目前正在进行测试，权重将在完成后发布。
• 训练数据文档指出使用了公共领域内容和来自开放互联网及第三方的公开数据。

此次发布旨在为开源权重生态系统提供一个可行的美国竞争对手，提供多模态能力和高效的思考以进行定制。