Компания Upstage выпустила Solar Open 2, модель больших языковых моделей с открытыми весами на 250 миллиардов параметров, предназначенную для агентных рабочих процессов, таких как офисная продуктивность и программирование. Модель использует архитектуру Hybrid-Attention Mixture-of-Experts, которая активирует только 15 миллиардов параметров на токен для обеспечения эффективного вывода.

  • Она оснащена контекстным окном на 1M токенов, достигнутым за счет удаления позиционного кодирования в пользу интринсического порядкового кодирования внутри слоев линейного внимания.
  • Эффективность обучения улучшена за счет инициализации модели с помощью селективной передачи весов от Solar Open 1, переноса только 2.3% весов.
  • Архитектура чередует три слоя линейного внимания с одним слоем softmax-внимания, что снижает использование памяти KV-кэша примерно до четверти от модели со всем softmax.
  • Модель поддерживает английский, корейский и японский языки и демонстрирует конкурентоспособность с другими моделями с открытыми весами на бенчмарках для агентов.

Выпуск предоставляет модель высокой емкости, оптимизированную для задач с длинным контекстом и вызовом инструментов, сохраняя при этом низкие затраты на вывод.