본 기사는 자연어 명세서를 컴파일하여 컴팩트하고 로컬에서 실행 가능한 신경 아티팩트로 변환하여 대규모 언어 모델 API를 대체하는 패러다임인 Program-as-Weights (PAW)를 소개합니다. 이 접근 방식은 파운데이션 모델을 입력별 문제 해결자가 아닌 도구 빌더로 취급함으로써 지역성, 재현성 및 비용 개선을 목표로 합니다.

  • PAW는 새로 출시된 10M 예제 데이터셋인 FuzzyBench에서 훈련된 4B 컴파일러를 활용합니다.
  • 시스템은 동결된 경량 인터프리터에 대해 파라미터 효율적인 어댑터를 생성하며, 구체적으로 0.6B Qwen3 모델을 사용합니다.
  • 추론 메모리를 약 1/50로 줄이면서 Qwen3-32B에 직접 프롬프트를 입력하는 것과 동등한 성능을 달성합니다.
  • MacBook M3에서 초당 30 토큰으로 실행되어 저렴하고 오프라인 상태의 후속 호출을 가능하게 합니다.

PAW는 파운데이션 모델을 입력별 문제 해결자에서 도구 빌더로 재정의하여, 고가의 API 호출 필요성을 줄이는 작고 재사용 가능한 아티팩트를 생성합니다.