エンジニアが、JavaScriptと強化学習を用いてコーディングモデルに水彩画を描かせるというSurya Narreddi氏の viral プロジェクトの再現版をオープンソースとして公開しました。この実装では、TRLライブラリとOpenEnvを活用し、Hugging Face上でトレーニング、スコアリング、推論を行うエンドツーエンドのパイプラインが構築されています。

  • システムはp5.brushを用い、制限された10のメソッドを通じて、顔料の滲みや紙の質感といった水彩画効果をシミュレートします。
  • 報酬は2つのジャッジから導き出されます。一つは美的嗜好を評価するHPSv3、もう一つは手動で評価された178枚の生成画像と出力を比較するペアワイズジャッジです。
  • ジャッジ間の重みを変えた3回のトレーニングランが実施され、モデルがデータセットにエンコードされた特定の芸術的スタイルを模倣して学習できることが示されました。
  • RL環境、スコアラーモデル、およびトレーニング済みモデルを含むすべてのレシピはHugging Face Hubで公開されています。

このプロジェクトは、主観的な taste に対する強化学習が、統計的に平均的な画像ではなく、独自の芸術的スタイルを生み出すために小さなモデルをどのように誘導できるかを示しています。