Компания Thinking Machines выпустила Inkling, большую модель с открытым исходным кодом для обработки мультимодальных данных, доступную на Hugging Face, которая нативно обрабатывает текстовые, визуальные и аудиовходы. Модель имеет около 1 триллиона общих параметров и 41 миллиард активных параметров, обучена на 45 триллионах токенов для поддержки рассуждений между модальностями.
- Архитектура: Декодерная модель Mixture-of-Experts (MoE) с 256 экспертами, использующая относительное внимание, гибридное глобальное/скользящее окно внимания и короткие 1D-свертки.
- Контекст и вывод: Поддерживает контекстное окно на 1 миллион токенов и включает слои спекулятивного MTP для более быстрого вывода; доступна в вариантах BF16 и NVFP4.
- Развертывание: Предлагает поддержку с первого дня для Hugging Face Transformers, SGLang, vLLM и llama.cpp, требуя 2 ТБ видеопамяти для BF16 и 600 ГБ для NVFP4.
Модель предназначена для адаптации к домену через дообучение для создания приложений мультимодального рассуждения.