一名工程师开源了对 Surya Narreddi 的病毒式传播项目的复现，该项目训练一个编码模型使用 JavaScript 和强化学习来绘制水彩画。该实现利用 TRL 库和 OpenEnv 在 Hugging Face 上创建用于训练、评分和推理的端到端管道。

  • 该系统使用 p5.brush 通过受限的十种方法来模拟颜料晕染和纸张纹理等水彩效果。
  • 奖励来自两个评判器：HPSv3 用于审美偏好，以及一个成对评判器，将输出与经过人工评分的 178 张生成图像池进行比较。
  • 进行了三次训练运行，调整了评判器之间的权重，证明模型可以学习模仿数据集中编码的特定艺术风格。
  • 整个配方，包括强化学习环境、评分模型和训练好的模型，都发布在 Hugging Face Hub 上。

该项目展示了如何通过针对主观审美的强化学习，引导较小的模型产生独特的艺术风格，而不是统计平均图像。