本記事では、自然言語の仕様をコンパイルしてコンパクトでローカル実行可能なニューラルアーティファクトに変換し、大規模言語モデルAPIを置き換えるパラダイムであるProgram-as-Weights (PAW)を紹介します。このアプローチは、基盤モデルを入力ごとの問題解決者ではなくツールビルダーとして扱うことで、局所性、再現性、コストの改善を目指します。

  • PAWは、10M件の例を含む新たにリリースされたデータセットFuzzyBenchでトレーニングされた4Bのコンパイラを利用しています。
  • システムは、凍結された軽量インタープリタに対してパラメータ効率的なアダプターを出力し、具体的には0.6BのQwen3モデルを使用します。
  • 推論メモリを約50分の1に抑えながら、Qwen3-32Bへの直接プロンプティングと同等のパフォーマンスを発揮します。
  • MacBook M3上では30 tokens/sで動作し、低コストかつオフラインでの後続呼び出しを可能にします。

PAWは、基盤モデルを入力ごとの問題解決者からツールビルダーへと再定義し、高価なAPI呼び出しの必要性を減らす小さな再利用可能なアーティファクトを生成します。