Поэкспериментировал с controlnets, такой image2image на стероидах для stable diffusion.
Поделюсь, вдруг ещё кому зайдёт (осторожно, картинок много)
Отличный комментарий!