Program-as-Weights는 퍼지 함수를 컴팩트한 신경 아티팩트로 컴파일합니다

연구자들은 자연어 명세서를 로컬 실행 가능한 신경 아티팩트로 컴파일하기 위해 fuzzy-function 프로그래밍을 제안하며, 일상적인 작업에 대규모 언어 모델 API를 사용할 때 발생하는 국소성, 재현성 및 비용 문제를 해결합니다. 그들은 이 패러다임을 Program-as-Weights (PAW)로 구체화했으며, 이는 공개된 10M 예제 FuzzyBench 데이터셋으로 훈련된 4B 컴파일러를 사용하여 동결된 인터프리터에 매개변수 효율적인 어댑터를 생성합니다.

• PAW 프로그램을 실행하는 0.6B Qwen3 인터프리터는 Qwen3-32B에 직접 프롬프트를 사용하는 것과 동일한 성능을 달성합니다.
• 이 접근 방식은 추론 메모리의 약 1/50만 사용하며 MacBook M3에서 초당 30 tok/s로 실행됩니다.
• PAW는 파운데이션 모델을 도구 빌더로 재정의하여 저렴하고 오프라인으로 이후 호출을 위해 작고 재사용 가능한 아티팩트를 생성합니다.

이 방법을 통해 개발자는 입력별 API 호출과 관련된 높은 비용과 지연 시간을 피하는 컴팩트한 로컬 실행 함수를 만들 수 있습니다.