Program-as-Weights : Un paradigme de programmation pour les fonctions floues

L'article présente Program-as-Weights (PAW), un paradigme qui compile des spécifications en langage naturel en artefacts neuronaux compacts et exécutables localement pour remplacer les API de grands modèles linguistiques. Cette approche vise à améliorer la localité, la reproductibilité et le coût en traitant les modèles de base comme des constructeurs d'outils plutôt que des résolveurs de problèmes par entrée.

• PAW utilise un compilateur de 4B entraîné sur FuzzyBench, un nouvel ensemble de données de 10M d'exemples.
• Le système émet des adaptateurs efficaces en paramètres pour un interpréteur léger figé, en utilisant spécifiquement un modèle Qwen3 de 0,6B.
• Les performances correspondent à l'invocation directe de Qwen3-32B tout en utilisant environ un cinquantième de la mémoire d'inférence.
• Sur un MacBook M3, la solution s'exécute à 30 tokens/s, permettant des appels ultérieurs peu coûteux et hors ligne.

PAW reformule le modèle de base en tant que constructeur d'outils plutôt qu'en résolveur de problèmes par entrée, produisant de petits artefacts réutilisables qui réduisent le besoin d'appels API coûteux.