Thinking Machines Lab은 토큰 효율적 추론과 텍스트, 이미지, 오디오 입력에 대한 네이티브 이해를 위해 설계된 새로운 멀티모달 Mixture-of-Experts 모델인 Inkling을 출시했습니다. Together AI는 이 모델을 추론 플랫폼에서 제공하며 day-zero 접근성을 제공합니다.

  • Inkling은 총 975B 파라미터와 토큰당 40B 활성 파라미터, 1M 컨텍스트 윈도우를 특징으로 합니다.
  • 아키텍처는 쿼리 조건부 상대 어텐션, 짧은 인과적 합성곱, 공유 전문가 싱크를 사용하여 효율적인 실행을 가능하게 합니다.
  • 제어 가능한 추론 노력을 지원하여 개발자가 추론 깊이, 지연 시간 및 토큰 사용량을 조정할 수 있습니다.
  • 초기 평가는 과학적 추론, 수학, 코딩, 예측 작업에서 강력한 성능을 보여줍니다.
  • 모델은 통합 디코더 스택을 통해 텍스트, 이미지, 오디오 입력을 받아 텍스트 출력을 생성합니다.

개발자는 Together AI Serverless와 OpenAI 호환 API를 통해 Inkling에 접근할 수 있으며, 인프라 관리 없이 멀티모달 애플리케이션을 구축할 수 있습니다.