Stable diffusion

Насколько просто для ИИ скопировать художника

Недавний бунт против ИИ на artstation заставил меня задуматься. Насколько действительно сложно будет натренировать Stable Diffusion на стиль конкретного художника.

В качестве подопытного я взял Huffslove, потому что гоблинши в платьях его стиль близок к анимешному стилю базовой модели, но при этом отличается достаточно, чтобы прогресс сразу был виден.

Выкачиваем картинки с твиттера, скейлим, обрезаем, прогоняем через нейронку которая проставит теги с danbooru, и запасаемся терпением. Мне понадобилась где-то неделя экспериментов на то, чтобы добиться неплохих результатов.

Замечу, что здесь обучается не вся Stable Diffusion, а небольшая "гиперсеть" поверх нее, которая модифицирует ее выходы. Поэтому то, что она оверфитится и запоминает куски оригинальных изображений работает нам на руку. Это особенно видно если скормить ей те же промпты, которые использовались при обучении:

Чтобы сделать сетку более устойчивой к генерации того, чего не было в тренировочных данных, а также подправить ошибки и шероховатости, помогает добавление в промпт дополнительного стиля, который модель уже знает.

Выводы: если вдруг машины восстанут из пепла и поработят человечество, то по крайней мере они смогут сгенерировать продолжения всех тех комиксов и серий артов, на которые автор забил а тебе так хотелось увидеть.