Насколько просто для ИИ скопировать художника
Недавний бунт против ИИ на artstation заставил меня задуматься. Насколько действительно сложно будет натренировать Stable Diffusion на стиль конкретного художника.
В качестве подопытного я взял Huffslove, потому что гоблинши в платьях его стиль близок к анимешному стилю базовой модели, но при этом отличается достаточно, чтобы прогресс сразу был виден.
Выкачиваем картинки с твиттера, скейлим, обрезаем, прогоняем через нейронку которая проставит теги с danbooru, и запасаемся терпением. Мне понадобилась где-то неделя экспериментов на то, чтобы добиться неплохих результатов.
Замечу, что здесь обучается не вся Stable Diffusion, а небольшая "гиперсеть" поверх нее, которая модифицирует ее выходы. Поэтому то, что она оверфитится и запоминает куски оригинальных изображений работает нам на руку. Это особенно видно если скормить ей те же промпты, которые использовались при обучении:
Чтобы сделать сетку более устойчивой к генерации того, чего не было в тренировочных данных, а также подправить ошибки и шероховатости, помогает добавление в промпт дополнительного стиля, который модель уже знает.
Выводы: если вдруг машины восстанут из пепла и поработят человечество, то по крайней мере они смогут сгенерировать продолжения всех тех комиксов и серий артов, на которые автор забил а тебе так хотелось увидеть.
Отличный комментарий!