gaining weight / смешные картинки, мемы и приколы на JoyReactor

нейронные сетигайдStable diffusionраздетые нейросеткой

Как отредактировать любой рисунок с помощью нейросети Stable Diffusion. Подробный гайд

Будем считать, что вы уже установили и настроили Automatic1111's Stable Diffusion web-gui, а также скачали расширение для ControlNet'a и модели для него. Нам нужно будет лишь controlNet Inpaint и controlNet Lineart.

В интернете уже есть гайд по установке. И не один. Да хоть на том же YouTube.

Будем учиться редактировать на примере вот этой картинки:

,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Автор - Chaesu

Первым делом открываем фотошоп. Да, прежде чем загружать изображение в SD, его нужно подготовить. Проблема тут такая: SD 1.5 модели не могут нормально работать с изображениями больше 800 пикселей. Поэтому, выделяем в фотошопе вот такую область размером 600x900:

Не снимайте выделение сразу, оно ещё пригодится

Выделение есть, теперь Ctrl+C и вставляем скопированный кусок во вкладку txt2img в окошко ControlNet'а (в первые три, то есть вставляем три раза):

ControlNet vl.1.440
3 units
▼
ControlNet Unit 0 ControlNet Unit 1 ControlNet Unit 2 ControlNet Unit 3 Single Image Batch Multi-Inputs
Set the preprocessor to [invert] If your image has white background and black lines.
Q и ^ ^
Q Enable
Low VRAM
Pixel Perfect,нейронные сети,гайд,Stable

Вы ведь не забыли увеличить количество юнитов контролнета в настройках?

Теперь настраиваем сами юниты контролнета:
Unit 0:

Preprocessor
reference_only
Control Weight 0,95 Starting Control Step o,22 Ending Control Step
Style Fidelity (only for "Balanced" mode)
Control Mode
Balanced My prompt is more important Q ControlNet is more important,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Первый юнит будет отвечать за перенос стиля

Unit 1:

Preprocessor
Model
inpaint_only+lama - u controlnetllModelsJnpaint [be8bc0e< ▼
Control Weight 1 Starting Control Step o Ending Control Step i
Control Mode
Balanced Q My prompt is more important ControlNet is more important
□,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Второй отвечает за редактирование с сохранением контекста

Unit 2:

Preprocessor
Model
lineart_realistic - u controlnetllModelsJineart [5c23bl7d
Control Weight 0,8 Starting Control Step o Ending Control Step
Preprocessor Resolution
Control Mode
O Balanced My prompt is more important ControlNet is more important
- 0
0,8
600,нейронные сети,гайд,Stable

Ну и третий юнит для контроля генерации

После этого нажимайте на кнопку предпросмотра:

И скачивайте получившийся "негатив"

Single Image
Batch Multi-Inputs,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Можно поиграться с другими препроцессорами, но lineart_realistic обычно выдаёт лучший результат

Смело открываем его в фотошопе (в новой вкладке, старую пока не трогаем) и начинаем редактировать. Надо лишь убрать всё лишнее и обозначить контур того, что хотим получить. Вот как-то так:

Контролирующий лайн готов. Теперь очищаем ControlNet Lineart и вставляем наш "линейный рисунок". Так как на вход теперь на вход контролнету сам лайн, то нам не нужен препроцессор - ставим его на none.

$Single Image Batch Multi-Inputs 0 Image (' /' ff l [/ / '! " Y Y i y /\. / 1 Start drawing ’i VJ 1 , У / \ L i • i xx • ! 1 Set the preprocessor to [invert] If your image has white background and black lines. D а ^ Q Enable Allow Preview Control Type Low VRAM Pixel Perfect Mask$

Это всё ещё Unit 2

Осталось только нарисовать маску inpaint'а. Переходим в ControlNet Inpaint (Unit 1) и прямо тут в веб-интерфейсе закрашиваем те части, которые хотим перерисовать:

Про тень от одежды не забудьте

Осталось лишь написать промпт (и негативный промпт), выбрать параметры генерации (размер 600x900 не забывайте) и нажимать Generate до тех пор, пока не увидите приемлемый результат.
Например:

Главное что стиль далеко не уехал

Это изображение неплохо бы отправить в img2img inpaint, чтобы поправить мелкие недоработки, но сейчас просто копируем его в буфер, возвращаемся в фотошоп и вставляем в нужное место (выделение пригодилось).

Сидит как влитая

Исправляется тем же образом:

Приемлемо

По тому же принципу делаем остальных

Видите недоработки? Исправить их - это ваше домашнее задание

А вот параметры генерации:

Модель для генерации логично выбирать близкую по стилю. Для не слишком реалистичных рисунков Kizuki Alternative почти идеальна.

Несколько советов:

- Уменьшайте исходное изображение заранее, облегчайте нейросети работу.

- Можно обойтись из без Lineart'а, и тогда сетка додумает форму самостоятельно.

- Если какие-то части получились хорошо, а какие-то нет, то просто перенесите результат во вкладки Reference и Inpaint и работайте уже с ним.

- Если исходное изображение слишком тёмное либо светлое, то модель сама по себе может не справиться и имеет смысл подключать затемняющую или осветляющую мини-модель (лору).

PANDORUM_666

TourniquetGazing at MedusaThrash Metal#MetalфэндомыHeavy Metal

Tourniquet - Gazing at Medusa (2018); USA

Tim Ripper Owens - lead vocals
Chris Poland – lead guitar
Aaron Guerra – guitar, vocals
Ted Kirkpatrick – drums, bass
Deen Castronovo - вокал 9 композиция

Doomrider

Warhammer 40000фэндомыIron WarriorsChaos Space MarineChaos (Wh 40000)CSM TerminatorsobliteratorPerturaboPrimarchsjudas chaban...

,Warhammer 40000,wh40k, warhammer 40k, ваха, сорокотысячник,фэндомы,Iron Warriors,Chaos Space Marine,Chaos (Wh 40000),CSM Terminators,obliterator,Perturabo,Primarchs,judas chaban,daemon prince

PavloZlo

Magic the GatheringИгрыИгровой артBilly Christianartist

Knight of Dawn's Light

$1 ш - / дН ЯI я 1 xlj/¡ 1 Л к ^Жфг^Ч I ÊtL ■ I ■ / ! ft 4 ¡я^~ l\ г / р ~- ' Ж JJF „Ч *>А - Л j/jf л; ^ «У 'VI У ¿ jffCí-'i \~s& v % А г » ж / / v,Magic the Gathering,Игры,Игровой арт,game art,Billy Christian,artist$