dots-studio выпустила первую модель с открытыми весами в семействе dots3, названную dots3-note preview. Эта модель Mixture-of-Experts имеет 280B общих параметров, из которых активируется 16B, и поддерживает контекст до 512K токенов.
- Это мультимодельная модель, способная понимать текст, изображения, видео и аудио, а также генерировать текстовые выходные данные.
- Архитектура оптимизирована для общих знаний, математического рассуждения, использования инструментов, генерации кода и обработки длинного контекста.
- Будучи самым легковесным членом семейства dots3, она балансирует между возможностями, более низкой задержкой и стоимостью вывода по сравнению с другими потенциальными членами семейства.