Thinking Machines Lab Миры Мурати выпустила Inkling, свою первую мультимодальную модель с открытыми весами. Модель представляет собой трансформер Mixture-of-Experts с 975B общих параметров и 41B активных параметров, обученный на 45 триллионах токенов текста, изображений, аудио и видео.
- Лицензированная под Apache-2.0, Inkling позиционируется как сильная базовая модель для дообучения через платформу Tinker лаборатории, а не как модель для вывода на переднем крае.
- Меньшая вариация, Inkling-Small (276B общих, 12B активных), в настоящее время находится на этапе тестирования, а веса будут опубликованы после завершения.
- Документация по обучающим данным отмечает использование материалов из общественного достояния и общедоступных данных из открытого интернета и третьих лиц.
Выпуск призван предоставить жизнеспособного конкурента из США для экосистемы с открытыми весами, предлагая мультимодальные возможности и эффективное мышление для кастомизации.