El Informe técnico de Solar Open 2 presenta Solar Open 2, un modelo de lenguaje de Mezcla de Expertos de 250B-A15B diseñado para tareas agénticas a largo plazo. Alcanza una ventana de contexto de 1M de tokens mediante una pila de atención híbrida y se entrena utilizando una inicialización eficiente a partir de Solar Open 1 y datos curados de alto valor.
- El modelo utiliza un mecanismo de atención híbrido con una capa softmax entre cada tres capas de atención lineal, sin codificación posicional y una regla delta con compuerta extendida a autovalores negativos.
- La eficiencia del entrenamiento se logra inicializando desde el esqueleto compartido de Solar Open 1 y refinando un conjunto de datos de 20T en una mezcla de 10T mediante curación consciente de la calidad y la rareza.
- Las habilidades agénticas se consolidan a partir de doce especialistas de dominio utilizando Distilación On-Policy Multi-profesor (MOPD).
- Solar Open 2 lidera entre los modelos abiertos de tamaño comparable en MMLU-Pro, LiveCodeBench y el conjunto APEX-Agents, mientras se mantiene competitivo frente a DeepSeek-V4-Flash y MiMo-V2.5.
- En las pruebas coreanas, registra el promedio más alto entre los modelos comparados y es competitivo con DeepSeek-V4-Pro con menos de una sexta parte de su tamaño.
El informe destaca la capacidad de Solar Open 2 para mantener trayectorias completas del agente en un solo contexto mientras mantiene un alto rendimiento en las pruebas en inglés y coreano.