Thinking Machines发布了Inkling，这是一个大型开源多模态语言模型，可在Hugging Face上获取，原生处理文本、图像和音频输入。该模型具有约1万亿总参数和410亿活跃参数，在45万亿个token上进行训练，以支持跨模态推理。

  • 架构：仅解码器的混合专家（MoE）模型，拥有256个专家，利用相对注意力、混合全局/滑动窗口注意力以及短1D卷积。
  • 上下文与推理：支持100万token的上下文窗口，并包含推测性MTP层以实现更快的推理；提供BF16和NVFP4变体。
  • 部署：为Hugging Face Transformers、SGLang、vLLM和llama.cpp提供首日支持，BF16需要2 TB显存，NVFP4需要600 GB显存。

该模型旨在通过微调进行领域适应，以构建多模态推理应用。