Thinking Machines Lab发布了Inkling，这是其首个从头训练且开放权重可供微调的模型。该模型是一个混合专家（Mixture-of-Experts）Transformer，具有975B总参数和41B激活参数，支持高达1M token的上下文窗口。

  • 预训练使用了45万亿个token的文本、图像、音频和视频数据。
  • 它接受文本、图像和音频输入，但仅输出UTF-8文本。
  • 架构包括一个66层的仅解码器Transformer，其稀疏MoE前馈层遵循DeepSeek-V3设计。
  • Inkling具备可控的思考努力程度，允许用户通过系统消息或API参数调整token预算。
  • 在达到相同的Terminal Bench 2.1性能时，它消耗的token数量仅为Nemotron 3 Ultra的三分之一。
  • 一个较小的变体Inkling-Small（总计276B，激活12B）正在测试中，其权重将稍后发布。

该模型通过其可控努力机制提供可调节的每次调用成本和延迟，使其成为定制化和智能体管道的基石。