Thinking Machines Lab 发布了 Inkling，这是一种新的多模态混合专家模型，旨在实现高效的 token 推理以及对文本、图像和音频输入的原生理解。Together AI 正在其推理平台上提供该模型，并提供零日访问权限。

  • Inkling 具有 975B 总参数，每个 token 有 40B 活跃参数，上下文窗口为 1M。
  • 架构使用查询条件相对注意力、短因果卷积和共享专家池以实现高效执行。
  • 它支持可控的推理努力，允许开发人员调整推理深度、延迟和 token 使用量。
  • 初步评估显示其在科学推理、数学、编码和预测任务中表现强劲。
  • 该模型通过统一的解码器堆栈接受文本、图像和音频输入以生成文本输出。

开发人员可以通过 Together AI Serverless 使用与 OpenAI 兼容的 API 访问 Inkling，从而在无需管理基础设施的情况下创建多模态应用程序。