Thinking Machines Lab выпустила Inkling, свою первую модель, обученную с нуля с открытыми весами, доступными для тонкой настройки. Модель представляет собой трансформер Mixture-of-Experts, содержащий 975B общих параметров и 41B активных параметров, поддерживая контекстное окно до 1M токенов.
- Предобучение использовало 45 триллионов токенов текстовых, изображений, аудио и видеоданных.
- Она принимает текстовые, изображения и аудио входы, но выводит только текст UTF-8.
- Архитектура включает декодерный трансформер из 66 слоев с разреженными слоями MoE feed-forward по дизайну DeepSeek-V3.
- Inkling обладает контролируемым усилием размышления, позволяя пользователям регулировать бюджеты токенов через системные сообщения или аргументы API.
- Она использует в три раза меньше токенов, чем Nemotron 3 Ultra, при равной производительности на Terminal Bench 2.1.
- Меньшая вариация, Inkling-Small (276B общих, 12B активных), находится на этапе тестирования и выпустит свои веса позже.
Модель предлагает настраиваемые затраты и задержку на вызов через механизм контролируемого усилия, позиционируя себя как база для кастомизации и агентных конвейеров.