arxiv arXiv cs.CL · 1시간 전 · research

Solar Open 2 기술 보고서

번역 English → 한국어

Solar Open 2 기술 보고서는 장기적 에이전트 작업을 위해 설계된 250B-A15B Mixture-of-Experts 언어 모델인 Solar Open 2를 소개합니다. 하이브리드 어텐션 스택을 통해 1M 토큰의 컨텍스트 창을 달성하며, Solar Open 1의 효율적인 초기화와 선별된 고가치 데이터를 사용하여 학습됩니다.

이 모델은 세 개의 선형 어텐션 레이어마다 하나의 소프트맥스 레이어를 포함하는 하이브리드 어텐션 메커니즘을 활용하며, 위치 인코딩 없이 게이트드 델타 규칙을 음의 고유값으로 확장하여 사용합니다.
Solar Open 1의 공유 골격에서 초기화하고 품질 및 희귀성 인식 선별을 통해 20T 데이터 풀을 10T 혼합 데이터로 정제함으로써 학습 효율성을 달성합니다.
에이전트 스킬은 Multi-teacher On-Policy Distillation (MOPD)를 사용하여 열두 개의 도메인 전문가로부터 통합됩니다.
Solar Open 2는 MMLU-Pro, LiveCodeBench 및 APEX-Agents 스위트에서 비교 가능한 크기의 오픈 가중치 모델들을 선도하며, DeepSeek-V4-Flash 및 MiMo-V2.5와 경쟁력 있습니다.
한국 벤치마크에서는 비교된 모델 중 가장 높은 평균을 기록했으며, 크기가 6분의 1 미만임에도 불구하고 DeepSeek-V4-Pro와 경쟁력 있습니다.

보고서는 Solar Open 2가 단일 컨텍스트 내에서 전체 에이전트 궤적을 유지하면서도 영어 및 한국어 벤치마크에서 높은 성능을 발휘하는 능력을 강조합니다.

중요도 2/3 arXiv cs.CL Upstage AI agents Research paper

관련 기사

media r/LocalLLaMA · 19시간 전 · 조회수 5회

Upstage, 에이전트용 워크플로우를 위한 250B 파라미터 MoE 모델 Solar Open 2 출시

Upstage는 사무 생산성 및 코딩과 같은 에이전트 워크플로우에 설계된 2500억 파라미터의 오픈 가중치 대규모 언어 모델인 Solar Open 2를 출시했습니다. 이 모델은 토큰당 150억 개의 파라미터만 활성화하는 하이브리드 어텐션 혼합 전문가(Hybrid-Attention Mixture-of-Experts) 아키텍처를 활용하여 효율적인 추론을 제공합니다.

media Hugging Face Forums · 1일 전

SEMA, 벡터 기호 구조를 사용한 비트랜스포머 AI 아키텍처 탐색

SEMA는 언어 이해와 추론이 다음 토큰 예측이 아닌 명시적 의미 구조에서 발생할 수 있는지 조사하는 실험용 AI 아키텍처입니다. 이는 콘텐츠 주소 가능 메모리 위에서 벡터 기호 구조(VSA/HDC)를 활용하는 비모수적 인스턴스 기반 추론 시스템으로 작동합니다.

arxiv arXiv cs.AI · 6일 전

HealthClaw: 장기 개인 건강 관리를 위한 자기 진화 메모리를 갖춘 오픈소스 에이전트

연구자들은 사람의 루틴, 선호도, 측정값, 위험이 시간이 지남에 따라 변화할 때 지원을 업데이트하도록 설계된 오픈소스 에이전트 아키텍처인 HealthClaw를 개발했습니다. 이는 공유된 안전 규칙과 의학 지식을 프로필 사실, 재사용 가능한 절차, 에피소드 흔적을 포함하는 비공개 장기 메모리에서 분리합니다.

arxiv arXiv cs.LG · 7일 전

TRACE는 턴 레벨 신용 추정을 통해 장기 에이전트의 도구 사용 능력을 개선합니다

저자들은 장기 호라이즌 작업에서 결과 보상의 희소성과 높은 분산을 해결하는 에전틱 강화 학습을 위한 밀도 신용 할당 방법인 TRACE(Turn-level Reward Assignment via Credit Estimation)를 제안합니다. 롤아웃을 도구 호출 경계에서의 상태 전이로 표현하고 로그 비율 상태 값으로부터 액션별 보상을 유도함으로써, TRACE는 추가적인 비평가 모델이나 지도 미세 조정 단계 없이 효과적인 학습을 가능하게 합니다.

arxiv arXiv cs.AI · 7일 전

DVM-HALL 모델과 NHAS 지표가 자율 상거래 충성도 해결

본 기사는 AI 에이전트가 구매 결정을 자율적으로 실행할 때 기존 고객 충성도 패러다임이 실패하는 문제를 해결하기 위해 Dynamic Verifiable Multi-Agent Human Agentic Loyalty Loop (DVM-HALL) 모델을 소개합니다. 분산 금융 환경에서 브랜드 선택이 인간의 정서적 지분, 에이전트 유틸리티, 보정된 신뢰성, 그리고 검증 가능한 실행 위험에 의해 결정되는 프레임워크를 제안합니다.