Инженер открыл исходный код воспроизведения вирусного проекта Суры Нарредди, который обучает модель программирования рисовать акварелью с использованием JavaScript и обучения с подкреплением. Реализация использует библиотеку TRL и OpenEnv для создания сквозного конвейера на Hugging Face для обучения, оценки и вывода.

  • Система использует p5.brush для имитации эффектов акварели, таких как растекание пигмента и текстура бумаги, через ограниченный набор из десяти методов.
  • Награды получены от двух судей: HPSv3 для эстетических предпочтений и парного судьи, сравнивающего выходы с вручную оценённым пулом из 178 сгенерированных изображений.
  • Были проведены три запуска обучения с различными весами между судьями, продемонстрировав, что модель может научиться имитировать конкретные художественные стили, закодированные в наборе данных.
  • Весь рецепт, включая среду RL, модель оценщика и обученные модели, опубликован на Hugging Face Hub.

Этот проект демонстрирует, как обучение с подкреплением над субъективным вкусом может направить меньшую модель к созданиюdistinct художественных стилей, а не статистически усреднённых изображений.