파라미터가 아닌 에이전트 지평 확장: 35B 에이전트로 트릴리언 파라미터 성능 달성

연구자들은 에이전트 지평을 확장하고 파라미터 수를 늘리는 대신, 트릴리언 파라미터 모델에 버금가는 성능을 달성하는 35B Mixture-of-Experts 모델인 Agents-A1을 소개합니다. 이 접근법은 장기적 궤적을 연장하고 전문화된 학습 인프라를 통해 다양한 에이전트 능력을 통합하는 데 중점을 둡니다.

• Agents-A1은 평균 길이가 45K 토큰인 에이전틱 궤적을 생성하는 장기적 지식-행동 인프라를 활용합니다.
• 학습은 세 단계 레시피를 따릅니다: 전체 도메인 지도监督 미세 조정, 도메인 수준 교사 모델 학습, 그리고 다중 교사 도메인 라우팅 온-policy 증류입니다.
• 이 모델은 중요한 어휘 정렬을 통해 효율적인 지식 전달로 여섯 가지 이질적 도메인을 단일 배포 가능한 학생 모델로 통합합니다.
• Agents-A1은 SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0), MolBench-Bind (56.8)을 포함한 벤치마크에서 Kimi-K2.6 및 DeepSeek-V4-pro와 같은 트릴리언 파라미터 모델보다 우수한 성능을 보입니다.

이 연구는 에이전트 지평을 확장하기 위한 실용적인 경로를 제시하며, 35B 모델이 장기적 작업에서 훨씬 더 큰 모델의 성능과 맞먹을 수 있음을 보여줍니다.