Практическое применение нейросетей / Stable diffusion :: нейронные сети :: нейромазня :: ControlNet :: гайд :: длиннопост

myadib

Stable diffusionнейронные сетинейромазняControlNetгайддлиннопост

Практическое применение нейросетей

Раз уж я вошёл в мир нейросетей благодаря реактору (через слитую модель novelAi и гайду к ней), то хочу вернуть дань благодарности этим небольшим мануалом.

Вы сможете генерировать прикольные арты на основе любого логотипа \ текста буквально в пару шагов.

0) Нужен stable diffusion от automatic1111 свежей версии (как его устанавливать тут не буду описывать);

1) Устанавливаем расширение ControlNet:

a) Копируем ссылку: https://github.com/Mikubill/sd-webui-controlnet

b) Идём во вкладку extensions -> install from URL, в первое поле вставляем ссылку и жмакаем install

txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings l Extensions
Installed Available Install from URL — URL for extension's git repository
https://github.com/Mikubill/sd-webui-controlnetl Local directory name
Leave empty for auto
Install,Stable

c) Во вкладке installed на всякий случай проверяем апдейты: "Check for updates", и нажимаем "Apply and restart UI"

txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings
Extensions
l Installed Available Install from URL
Apply and restart Ul
Check for updates
Extension URL Version Update
@ openpose-editor https://github.com/fkunnl326/openpose-editor 124e47c5 (Sun Mar

После этих манипуляций у Вас перезагрузится web страница и появится вкладка "ControlNet" в txt2img:

$txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Setti bomberman blur, low quality, bad art, man, face, skull, text Sampling method Sampling steps 20 Euler a v v J Width 768 Batch count 4 ti Height 768 \ / Batch size 1 CFG Scale Seed -1$

(Если не появилась, то попробуйте Settings, нажать Apply и перезапустить Stable Diffusion полностью)

d) Загружаем модели для ControlNet:

для этого идём сюда: https://civitai.com/models/9251/controlnet-pre-trained-models

скачиваем все версии моделей (там есть раздел Versions с отдельной кнопкой загрузки);

все скачанные файлы закидываем в <путь до SD>\stable-diffusion-webui\extensions\sd-webui-controlnet\models

2) Генерируем арты:

a) подготавливаем свой логотип \ текст.

я сделал такую картинку в фш:

,Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

p.s: походу желательно не использовать прозрачный фон (у меня с ним ничего не вышло).

b) двигаем настройки ControlNet:

ControlNet
Invert colors if your image has white background.
Change your brush width to make it thinner if you want to draw something.
2. Нажимаем "Enable"; Invert Color (если фон белый); Low VRAM
@ Enable @ Invert Input Color RGBtoBGR @ Low VRAM Guess Mode
Preprocessor 3- p ^processor:

c) и наконец генерируем (выставляем размер, пишем promptы, жмакаем generate).

единственное НО: у меня не получилось подружить controlNet с "hiresfix". даже "latent(nearest)" начинает ломать образ. поэтому генерировал сразу в 768х768 (Вам, возможно, надо будет пробовать с 512х512)

Stable Diffusion Checkpoint ---------------------
dreamlikeDiffusionl0_10.ckpt [0aecbcfa2c] ^
SDVAE
G Automatic
G
Clip skip
r
2
Show live previews of the created image
txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings Extensions
2/75
bomberman

любые LORA, HyperNetwork, embeddings прекрасно работают.

модель на которой я генерил: https://civitai.com/models/1274/dreamlike-diffusion-10

ну и примеры того что у меня получилось:

Идея честно спизженна отсюда:

https://www.reddit.com/r/StableDiffusion/comments/11ku886/controlnet_unlimited_album_covers_graphic_design/

Ну и напоследок хочу сказать что это расширение умеет гораздо большее. например можно полностью копировать стиль фото \ любые позы \ выражения лиц и ДАЖЕ рисовать идеальные руки и ноги (причём с фокусом на них). Но и запариться там нужно чуть сильнее)

Нихера себе.

Vursusikl

09.03.2023, 04:48