Статья представляет Program-as-Weights (PAW), парадигму, которая компилирует спецификации на естественном языке в компактные локально исполняемые нейронные артефакты для замены API больших языковых моделей. Этот подход направлен на улучшение локальности, воспроизводимости и стоимости за счет рассмотрения фундаментальных моделей как создателей инструментов, а не решателей задач для каждого входа.
- PAW использует компилятор на 4B, обученный на FuzzyBench, недавно выпущенном наборе данных из 10M примеров.
- Система генерирует адаптеры с эффективной параметризацией для замороженного легковесного интерпретатора, конкретно используя модель Qwen3 объемом 0.6B.
- Производительность сопоставима с прямым запросом к Qwen3-32B, при этом используется примерно в пятьдесят раз меньше памяти для вывода.
- На MacBook M3 решение работает со скоростью 30 токенов/с, что обеспечивает дешевые и автономные последующие вызовы.
PAW переосмысливает фундаментальную модель из решателя задач для каждого входа в создателя инструментов, производя небольшие повторно используемые артефакты, которые снижают потребность в дорогих вызовах API.