Upstage는 사무 생산성 및 코딩과 같은 에이전트 워크플로우에 설계된 2500억 파라미터의 오픈 가중치 대규모 언어 모델인 Solar Open 2를 출시했습니다. 이 모델은 토큰당 150억 개의 파라미터만 활성화하는 하이브리드 어텐션 혼합 전문가(Hybrid-Attention Mixture-of-Experts) 아키텍처를 활용하여 효율적인 추론을 제공합니다.
- 선형 어텐션 레이어 내에서 위치 인코딩을 제거하고 내재적 순서 인코딩을 채택하여 100만 토큰의 컨텍스트 창을 구현했습니다.
- Solar Open 1에서 선택적 가중치 전달을 통해 모델을 초기화하여 가중치의 2.3%만 계승함으로써 훈련 효율성을 개선했습니다.
- 아키텍처는 세 개의 선형 어텐션 레이어와 하나의 소프트맥스 어텐션 레이어를 번갈아 배치하여 KV 캐시 메모리 사용량을 전체 소프트맥스 모델의 약 4분의 1로 줄였습니다.
- 이 모델은 영어, 한국어, 일본어를 지원하며 에이전트 벤치마크에서 다른 오픈 가중치 모델들과 경쟁력 있는 성능을 보입니다.
이번 출시는 낮은 추론 비용을 유지하면서 긴 컨텍스트 작업과 도구 호출 기능에 최적화된 대용량 모델을 제공합니다.