Thinking Machines은 Hugging Face에서 사용할 수 있는 대규모 오픈소스 멀티모달 언어 모델인 Inkling을 출시했습니다. 이 모델은 텍스트, 이미지, 오디오 입력을 네이티브로 처리합니다. 모델은 총 파라미터가 약 1조 개, 활성 파라미터가 410억 개이며, 모달리티 간 추론을 지원하기 위해 45조 토큰으로 학습되었습니다.

  • 아키텍처: 256개의 전문가를 가진 디코더 전용 Mixture-of-Experts (MoE) 모델로, 상대적 어텐션, 하이브리드 글로벌/슬라이딩 윈도우 어텐션 및 짧은 1D 합성곱을 활용합니다.
  • 컨텍스트 및 추론: 100만 토큰 컨텍스트 창을 지원하며, 더 빠른 추론을 위한 speculative MTP 레이어를 포함합니다. BF16 및 NVFP4 변형이 제공됩니다.
  • 배포: Hugging Face Transformers, SGLang, vLLM, llama.cpp에 대해 day-0 지원을 제공하며, VRAM 요구 사항은 BF16 기준 2 TB, NVFP4 기준 600 GB입니다.

이 모델은 파인튜닝을 통한 도메인 적응을 통해 멀티모달 추론 애플리케이션을 구축하는 것을 목적으로 합니다.