본 기사는 소버린AI(SovereignAI)에서 개발한 범용 최첨단 모델인 톰슨(Thomson)을 소개하며, 기관들이 쉽게 접근 가능한 오픈 가중치 모델을 대상으로 지속 학습을 통해 최첨단 성능을 달성하는 방법을 보여줍니다. 이 접근 방식은 가소성과 안정성을 보존하기 위한 안전 장치가 탑재된 현대적인 중간 및 사후 학습 스택을 활용하여 파라미터에 대한 최소한의 고영향 개입을 가능하게 합니다.

  • 톰슨은 에이전트 작업, 안전성, 법률, 세금, 다국어 처리, 대규모 딥 리서치 등 다양한 영역에서 최근의 최첨단 모델들과 경쟁력 있는 성능을 보입니다.
  • 평가 결과, 명시적으로 타겟팅되지 않은 능력을 포함한 광범위한 능력 전반에 걸쳐 독특한 π자 형태의 개선 패턴이 드러났습니다.
  • 이 방법은 좁은 도메인 적응에서 흔히 발생하는 망각 문제를 거의 완전히 제거합니다.
  • 이 접근 방식은 일반적으로 생각되는 것보다 훨씬 낮은 컴퓨팅 및 인력 예산을 요구하므로, 더 많은 주체가 소버린AI 스택을 소유하는 것이 실현 가능합니다.

파인튜닝이나 프롬프트 엔지니어링과 같은 제한된 접근 방식이 아닌 지속 학습을 활용함으로써, 본 연구는 다양한 자금 지원 환경 하에서 광범위한 기관들이 최첨단 성능을 달성할 수 있음을 주장합니다.