Thinking Machines Lab은 파인튜닝을 위해 오픈 가중치가 제공되는 처음으로 스크래치에서 훈련된 모델인 Inkling을 출시했습니다. 이 모델은 총 975B 파라미터와 41B 활성 파라미터를 갖춘 Mixture-of-Experts 트랜스포머로, 최대 1M 토큰의 컨텍스트 창을 지원합니다.

  • 사전 훈련에는 텍스트, 이미지, 오디오, 비디오 데이터 45조 개의 토큰이 사용되었습니다.
  • 텍스트, 이미지, 오디오 입력을 받지만 UTF-8 텍스트만 출력합니다.
  • 아키텍처는 DeepSeek-V3 디자인을 따르는 희소 MoE 피드포워드 레이어가 있는 66층 디코더 전용 트랜스포머를 포함합니다.
  • Inkling은 제어 가능한 사고 노력을 특징으로 하며, 시스템 메시지나 API 인수를 통해 토큰 예산을 조정할 수 있습니다.

동일한 Terminal Bench 2.1 성능을 위해 Nemotron 3 Ultra보다 3분의 1의 토큰을 사용합니다.

  • 더 작은 변형인 Inkling-Small(총 276B, 활성 12B)이 테스트 중이며 나중에 가중치가 출시될 예정입니다.

이 모델은 제어 가능한 노력 메커니즘을 통해 호출당 조정 가능한 비용과 지연 시간을 제공하며, 사용자 정의 및 에이전트 파이프라인의 기반으로 자리 잡고 있습니다.