туториал

Как перерисовать/раздеть любого персонажа с помощью Stable Diffusion

Установили? Тогда начинаем.

Часть 1. ControlNet Inpaint

Ни для кого не секрет, что в SD существует фича под названием inpaint - это, по сути, способ сгенерировать что-то поверх существующего изображения. В интерфейсе от Automatic1111 под inpaint'ом обычно подразумевают один из режимов img2img. Это хоть и мощный инструмент, но, всё же, недостаточно точный и контролируемый. Тут на помощь приходит ControlNet Inpaint и исправляет главный недостаток "классического" inpaint'а - игнорирование контекста. Впрочем, достаточно теории переходим к практике.

Итак, возьмём изображение, которое мы хотим отредактировать.

И сразу же уменьшаем/увеличиваем его до нужного разрешения:
В моём случае с 1500x1500 до 640x640. По опыту скажу, что лучший результат получается при размере меньшей стороны от 512 до 768 пикселей, а большая сторона при этом желательно меньше 1024 пикселей.

1girl, naked, completely nude, (best quality, masterpiece:1.2)

Негативный промпт как обычно:
EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4)

Модель подбираем поближе к стилю рисунка (реалистичный/стилизованный). В моё случае это MeinaMix_v11-inpaint.

Параметры генерации:

Всё, можно нажимать Generate до тех пор пока не появится приемлемая картинка.

Столь хороший результат обеспечивается препроцессором inpaint_only+lama - он пытается дорисовать зону под маской с учётом "наружного контекста". Это же и обеспечивает генерацию правильного цвета.

Простой случай разобрали, переходим к чему-то посложнее:

Часть 2. Style transfer

Возьмём теперь другой рисунок попробуем повторить описанный выше процесс:

Мда, мало того, что поза поехала, так ещё и стиль оказался потерян. Одного ControlNet Inpaint тут недостаточно. Надо подключать дополнительные юниты.

Нам нужно решить 2 задачи:

Для решения первой задачи будем использовать ControlNet reference и ControlNet T2IA - они оба позволяют копировать стиль с изображения-референса и как нельзя лучше работают в связке.

Возвращаемся к интерфейсу ControlNet'a. Копируем исходное изображение в Unit 1 и Unit 2. Настраиваем вот так:

Интересный факт: никто не запрещает отредактировать выход предпроцессора в фотошопе. Что-то убрать, что-то подрисовать. Вот где могут понадобиться навыки рисования.

Ладно, всё 4 юнита активны. Нажимаем Generate и:

Это совсем не то, нужно!
Формы сохранены, но промпт будто проигнорирован. Что случилось? Я вам скажу что: сила ControlNet'а оказалась слишком велика. Stable Diffusion попытался во время генерации воссоздать рисунок-референс да ещё и плюс inpaint там подсунул белый цвет с фона!

Как с этим бороться? Нужно уменьшить эффект двух юнитов переноса стиля (reference и T2IA), но при этом нельзя сильно уменьшать их силу, иначе перенос стиля будет ослаблен. В общем, нужно воспользоваться настройкой Starting Control Step. Она отвечает за то, на какую долю шагов генерации придётся действие ControlNet'a.

Starting Control Step 0.5, например, означает, что первую половину шагов генерация будет опираться только на промпт, а со второй половины подключится уже наш ControlNet.

В общем, план такой: слегка понижаем Control Weight (сила) у стилевых юнитов (примерно до 0.9). После этого начинаем постепенно поднимать границу начала действия стилевых юнитов. Также имеет смысл подобным же образом немного ослабить действие Inpaint'a - позволяет в некоторых случаях исправить цвета.

После нескольких попыток (и усиление промпта) получаем вот такую задницу:

Не идеально, но уже шаг в нужном направлении. На самом деле, сейчас можно (и нужно) уже именно это изображение сделать референсом. Другими словами, скопировать его во все 4 юнита и отталкиваться уже от него. И так сколько нужно раз. Пока не получится идеальный результат, либо ваша генерация окончательно не развалится.

Часть 3. img2img

Даже после получения хорошей генерации во вкладке txt2img имеет смысл несколько отшлифовать изображение уже через img2img inpaint. Главное не забудьте подключить 2 ControlNet'a для переноса стиля. Помните да, reference и T2IA.

Некоторые пункты в виде итога:

P.S. Хотел бы я чтобы кто-то обстоятельно протестировал этот метод и поделился бы потом результатами. Мне кажется, как-то можно добиться ещё большей близости к стилю оригинала, ведь задача состояла именно в этом.

Туториал закончен, теперь впечатления. Это охиренно мощная штука! Можно как угодно дорисовать любую картину, стиль вообще не важен, тем более что сейчас уже натренированы сотни моделей на все случаи жизни. Хоть скриншоты из мультфильмов/аниме, хоть картины маслом. Фильмы и фотографии вообще пройденный этап. Можно даже без использования inpaint'a просто сгенерировать сколько хочешь изображений с нуля, просто опираясь на единственный рисунок. А ведь ControlNet появился лишь в начале этого года. Короче, уже почти год прошёл, а всё это до сих пор кажется каким-то колдунством. Что грядущий день готовит...

Как перерисовать любой рисунок с помощью StableDiffusion

Нужно:

Всё происходит во вкладке txt2img

Сначала берём исходное изображение, кладём его в 2 вкладки ControlNet'a и включаем их. Вот как-то так:

А вот так вторую (Unit 1):

Осталось нарисовать маску:

Позитивный - (white flowers:1.1), (best quality, masterpiece:1.2)

Негативный как обычно - EasyNegative, (worst quality, low quality, normal quality:1.4), (painting of bad artist:1.2)

Нажимаем Generate и получаем:

Старайтесь генерировать поближе (насколько возможно) к оригинальному разрешение. Hires. fix лучше не использовать - он ломает тонкие детали.

Нужен подходящий чекпойнт в зависимости от стиля оригинального рисунка. Под реалистичные рисунки реалистичные модели, под стилизованные - стилизованные.

Как незаметно прокачать английский язык и не страдать при этом

А сейчас я вам подробно расскажу, как прокачать высокий скилл английского языка. Но сначала несколько важных оговорок:

1. Я специально не использую слово "выучить". Потому что учить ничего не надо. Тупая зубрёжка слов, правил, времён, исключений и прочей хуеты ничего, кроме скуки и отвращения у вас не вызовет. Так что это не волшебный рецепт "Как выучить английский до Upper Intermediate за 5 недель". Это будет не 5 недель, а гораздо, гораздо дольше.
2. Дешёвого по затратам времени и ресурсов решения задачи прокачать язык -- не существует. Вы либо учите по классике на всяких там курсах по секретным методикам КГБ, сжигая нервные клетки от зачастую бесполезных усилий и через какое-то время получаете более-менее средний уровень, либо учите на позитиве и удовольствии, но займёт это в разы, а то и на порядки больше времени.
3. Я нихуя не лингвист, и даже не гуманитарий. Всё нижеизложенное это мой личный, уникальный опыт тотального непрофессионала в области языков, сложенный в том числе из непреодолимых семейных обстоятельств.

Биографический бэк, чтобы было понятно, с чего и как я начинал.

Суровые школьные годы

Всего в своей юности я сменил 6 разных средних школ. Первй класс (ещё в СССР) в специализированной средней школе с углублённым английским. Чему первоклассников учат на уроках английского, тем более в совке, можете себе представить -- там максимум алфавит, счёт до двадцати и базовая фонетика опять же алфавита, на этом всё. Это ни о чём вообще.
Потом я посрался с класручкой и перешёл в другую школу поближе к дому. Но она не была специализированной, и иностранный там начинался с 4-го класса (с 5-го для "прыжковых" потоков). Но это был французский. За полтора года в этой школе я кое-как насобачился составлять и произносить простые фразы из простых слов типа "меня зовут ололёша, а тебя?", но всё это выветрилось к хуям через год после того, как я ушёл и из этой школы. До сих пор помню только, как на французском читается "u", вот так:

(НТУУ "КПИ", если кому интересно, выпуск магистратуры 2003)
Не знаю, как сейчас, а тогда "обучение" английскому языку в этом ведущем техническом университете страны было полностью спрофанировано. То есть это не было и обучением даже, ни в каком смысле. Имея две мощнейшие кафедры английского языка, универ осилил отрядить к нам одну ветхую бабульку, которая нам задавала так называемые "тысячи". Тысяча (в смысле тысяча знаков) -- это рандомный фрагмент околотехнического текста на английском, который надо было при ней выборочно прочитать и выборочно перевести. Задания на следующее занятие выдавались в виде "подготовьте пять тысяч". Или семь, как её левая пятка захочет. И на этом всё. Совсем всё. Ахаха, при окончании магистратуры нам почему-то надо было сдавать кандидатский минимум, в том числе по иностранному языку. Блядь!
Но я сдал и сейчас объясню почему и как.

Путь просветления

Дело в том, что уже после окончания средней школы в моей мятежной душе поселилось глубокое недоверие ко всем организованным коллективным формам обучения иностранному языку. Проще говоря, я понял, что ни школа, ни универ, ни какие-то там курсы "...за 6 недель" не дадут мне ровно нихуя. И надо сжать очко в стальной кулак и ебашить самому.
Но на самом деле ебашить, не осознавая того, я начал ещё раньше, в далёком детстве.
Это был конец 80-х, мы... Ах, да. Большинство моих корешей во дворе выёбывались друг перед другом клонами Nintendo Game & Watch, известными любителям самого вкусного пломбира под именем "Ну погоди!" и прочего, пацаны с предками побогаче щеголяли Тетрисами "99 in 1", а вообще мажоры -- редкими в то время NES'ами.
Меня, хвала небесам, путь консоледрочерства миновал, так как батя притащил с работы уже более менее ПК -- продукт сумрачного беларусского гения, ЕСПЭВМ модели ЕС-1840.
И разумеется, я начал часами напролёт играть во все игры, какие батя только смог достать на радиорынке. Локализованных с английского хоть как-нибудь среди них почти не было. А те, что были, как бы это помягче сказать... Вот в оригинальной версии Sopwith В конце игры на экране всплывал титр THE END. А в "локализованной" каким-то остроумным умельцем версии -- "PIZDEC". Да, выглядели тогдашние аркадные воздушные бои

В первой половине 90-х я уже более-менее наигрался, потянуло в программирование. Пекарня появилась чуть помощнее, появился диалапный модем, но Инет был ещё слишком дорогой. Путь лежал в BBS и Fido. Чтобы хоть как-то расти в программиста, неизбежно приходится читать тонны документации, локализации которой по тем временам было ещё меньше, чем в игрушках.
К 1997 году, поступая в универ, я уже более-менее бегло мог прочитать практически любой технический текст на английском и понять о чём речь. И вообразил себя ниибацо крутым.
Но тут мир накрыло пиздой Джоан Роулинг и все ебанулись. И я тоже, хоть и не сразу, а только после того, как прочитал "Философский камень" в переводе на русский в бумажном виде. Дальше точно не помню, то ли на волне энтузиазма добрые люди спиздили оригинал "Тайной комнаты" прямо из типографии, то ли кто-то её в первый же день отсканил и распознал, но факт такой, что цифровая версия вот она, а перевод ещё даже не начинали. И я начал прогрызаться в этот ёбаный Chamber of Secrets, и едрить как же это было сложно поначалу. У литературного английского в художественных произведениях вокабуляр на порядок больше, чем в любом техническом тексте. Там у каждой поеботы есть своё устоявшееся и известное название, и достаточно раскидать правильные предлоги, кое где сыпануть глаголов с причастиями и хуяк -- технический текст готов.

Но худлит не таков. Особенно фэнтези, особенно с викторианско-викканскими замашками, и особенно -- написанный на британском английском. Но пасаран. Сижу до утра таращусь в текст, периодически переключая на CONTEXT и ProMT в сложных случаях и читаю, читаю, до упора, до отупения, пока глаза не начинают слипаться. И, о чудо -- с каждой следующей книгой необходимость лезть в словарь возникала всё реже. Я прочитал в оригинале все семь книг, причём "Дары Смерти" вообще на похуй, не глядя в словарь совсем, но уже вовсе не поэтому. Тут есть нюанс.
Начало 2000-х это бум домонетов и победное шествие широкополосного доступа по городам и сёлам. Диалапы с xDSLами уходят в историю, и меня тянет похакерствовать. Как в инете, так и в сетях X.25/X.28. Что, конечно же, требует чтения ещё большего количества всяких сугубо англоязычных доков, туториалов и логов, которые ещё и не всегда простым смертным доступны.

История этого периода заслуживает отдельного длиннопоста, поэтому я скипану пару лет и дам сразу вывод -- я еду в США на два года (2005-2006) работать в IT. Нет, не Кремниевая долина, упаси Аллах.

Майами Бич, детка

Сказать, что я очковал перед поездкой -- это ничего не сказать. Да, я чтением книг (не только ГП) и доков наработал себе охуенный словарный запас и уже мог влёт осилить любой текст. И более-менее сносно выразить свою мысль на письме. Но там же живые люди будут! С ними же надо будет РАЗГОВАРИВАТЬ! АААААА!!!!!
Пересадка в Скипхоле. Таможенный офицер что-то у меня спросил, но я, конечно же, нихуя не понял и кое-как пролепетал заранее заученное "please, speak slowly". Чел вошёл в положение и снизил темп речи до понятного мне. В общем, ничего страшного. Следующая пересадка в JFK. Эту ебанину размером в 20 квадратных километров надо было быстро-быстро пересечь почти из конца в конец минут за 40, чтобы успеть на следующий рейс. Куда бежать -- хуй знает, Скипхол-то маленький, там всё рядом и пешком, а тут внутри аэропорта даже своя отдельная электричка есть.
Бегу к будке с информацией, где дежурная бабка в отвёт на моё "speak slowly" кое-как втолковала куда двигаться.
Да, товарищи. Погружение в язык -- это, безусловно, самый эффективный способ поставить восприятие устной речи и наладить свою фонетику. Но как же это пиздец некомфортно бывает. Мне немножко повезло, так как в нашем офисе были мексы, австрийцы, один британец и всего парочку местных. Если б я прилетел куда-нибудь в Техас -- туши свет, кидай гранату. Начальник мой был из Техаса, они не разговаривают, они гудят и это гудение прерывается какой-то мешаниной звуков, должной изображать человеческую артикуляцию.
Также я для себя открыл двух самых страшных врагов для языкового погруженца -- это телефон и числительные. Телефон сильно режет частоты. Даже если ты уже долго общаешься с кем-то, более-менее привык к манере его речи -- всё равно, он тебе позвонит по телефону и ты нихуя не поймёшь, кроме отдельных слов. Бесит.

Числительные

Сука, я до сих пор путаю, как произносятся девять и восемь. Приходится каждый раз делать над собой мыслительное усилие, особенно после того, как я там познакомился с одной местной девушкой, и, когда дело дошло до секса, предложил ей 68 (шестьдесят ВОСЕМЬ, да). Там прямо культурный шок за всех предков от самого Мэйфлауэра на её лице отразился.
Вообще любые многозначные числа на слух воспринимаются гораздо труднее обычных слов, потому что у числительных нет фиксированной формы, к которой можно привыкнуть как бы откинуть её распознавание "в фон". Накладываются ещё местные особенности, например произносить номера годов, типа "1954" не через "тысяча девятьсот...", а "nineteen fifty four". Или считать четырёхзначные числа сотнями. 1700 это не "тысячу семьсот", а "seventeen hundred", но только если это не год. Не говоря уже о привычке местных совать свои сраные "dozen" (дюжины) куда ни попадя. Вот реально, он оценивая численность какой-то тусы, скажет не "пару десятков", а "few dozen".
Но это всё лирика, а теперь практика. Мне надо было как-то ставить произношение, учитывая что круг ежедневного общения у меня только из соседей по дому и сотрудников, а так-то я интроверт-сыч, конечно же, и в свободное время предпочитаю чиллить дома.

Что же делать?

Так вот, если вы попадёте в такую ситуацию, надо начать потреблять англоязычный контент с субтитрами на английском же языке.
ВАЖНО! ОЧЕНЬ ВАЖНО! Язык звуковой дорожки и язык субтитров -- должен быть одинаковым, именно тем, который вы пытаетесь у себя прокачать!
Я встречал немало долбоёбов, которые с пеной у рта рассказывали, как они включали русские субтитры с английской дорожкой (или наоборот) и им это якобы дохуя помогло. Нет. Это пиздёж! Это не работает!
Я подключил местное кабельное ТВ с сабами и начал смотреть по Discovery и History Channel практически всё подряд, что там шло. Тогда ещё состоялось моё знакомство с Mythbusters и я скачал и пересмотрел с сабами их всех. Туда же пошли Law&Order, Law&Order SVU, ну и по мелочам всякое.
И да, через примерно год я уже довольно бегло базарил с местными, даже с чёрными (но надо отметить, в тех местах у них специфический диалект не выражен).

Но как же...

Предвидя град тухлых помидоров на тему "обещал выдать рецепт прокачки языка на кухне, а сам в языковую среду свалил трепаться с нативами", я вам вот что скажу. С тех пор прошло уже более 15 лет. Количество доступного вам англоязычного контента с сабами увеличилось на порядки. Как и количество доступных книг на английском языке. Появились всякие сервисы, где можно найти носителя языка и попиздеть с ним. У меня не было и десятой доли возможностей, которая сейчас есть у вас, да и ехал я туда не за этим вообще.

Немного грусти перед выводами

Рано или поздно сказка заканчивается, и я вернулся домой. В моём окружении резко не осталось никого, кто владеет разговорным английским хотя бы на таком же уровне, как у меня. Без постоянной прокачки скилл начинает откатываться обратно, и нихуя с этим сделать нельзя. Когда я вернулся из Штатов, меня в одном тоже достаточно известном университете погнали на квалификационную комиссию, без прохождения которой не получится пройти конкурс на профессора. А там было собеседование на английском языке, с вроде бы как профессиональными филологами. Я эту комиссию вынес тогда с полупинка в дискуссии своим майамско-бичским акцентом, а сейчас бы уже не смог.
Кстати, тривия: как отличить того, кто жил во Флориде, от того, кто там не жил. Если жил, "Флорида" с ударением на "о", если нет -- то "и" (как и в испанском, откуда это слово).
Так вот, чтобы не растерять скилл, я не то, чтобы "занимаюсь ежедневно", нет, это просто стало такой вот жизненной привычкой -- каждый день просматривать час-два-три или сколько получится англоязычного контента с сабами. Не только фильмы или сериалы (кстати, хвала богам Рутрекера за то что там всегда есть оригинальные дорожки), но и Ютуб-каналы.
Продолжаю читать книги. Кроме ГП и HPMOR, я осилил His Dark Materials Пуллмана, весь Азимовский роботический цикл, весь Гиперион Симмонса (пиздец депрессивная нудятина), Сильмариллион и ещё много всякой мелочи. Читаю и ищу инфу только на английской Википедии, и не только из-за языка, кстати. И не только для поиска чего-то но и иногда просто несколько рандомных статей оттуда перед сном.
Тренировать произношение не перед кем, это очень хуёво. Было время я набрал себе аспирантов-иностранцев, но толку от них в этом смысле никакого -- в Нигерии английский вроде как государственный язык, но ну его нахуй, он разговаривал даже хуже чем американские негры.

Остаётся ещё ебошить писательский скилл, насколько это возможно -- я пишу приключенческое фэнтези, с магами, замками и, ебать их в сраку, героями. Готовые куски закидываю на Scribophile, и вот там сидят такие зубры, что могут доебаться до каждой запятой. Очень полезное место. 50+ страниц уже награфоманил и это только чуть меньше половины сюжета по плану.

Выводы

За всё это время, т.е. фактически за всю свою историю соприкосновения с английским, я так и не выучил ни одного ёбаного правила грамматики. Пишу и говорю на интуиции, и если спросят -- не смогу объяснить, почему так правильно, а так -- нет. Хуй его знает, почему. Я так ЧУВСТВУЮ, я так ПРИВЫК, они бы ТАК написали. Я в душе не ебу, почему "The little green men" правильно, а "The green little men" -- неправильно. Оказывается, потому, что в английском есть order of adjectives, по которому размер это третья позиция а цвет -- шестая и они должны идти по возрастанию. Вот вы наверняка даже не знали, что такое правило вообще существует (в славянских языках его нет, там прилагательные можно сыпать в любом порядке). И таких правил там дохуя, и если вы думаете, что можно ебануться головой, их все выучить и вы тогда "выучите язык" -- нет. Открыть рот и выдать фразу понятную нативам, это вам не поможет.

Итак, попробуем подытожить и систематизировать всё сказанное. Так сказать, TL;DR

Я разделяю скилл владения языком на четыре категории: чтение, письмо, устная речь, восприятие устной речи. Каждая из них прокачивается отдельно, но они также немного связаны друг с другом.

Чтение ===> Письмо
Восприятие устной речи ===> Устная речь

Работает это примерно так: прокачивая чтение, вы
а) расширяете словарный запас; любое ранее непонятное слово вы крепко запомните максимум после второго-третьего визита за ним в словарь;
б) подсознательно запоминаете типичные синтаксические конструкции, благодаря чему они потом на письме будут использоваться интуитивно;

Прокачивая восприятие устной речи вы наработаете ассоциации (опять же подсознательные) звучания и написания морфем, которое (звучание) опять же интуитивно сможете потом использовать в своём произношении. В связи с этим обращайте внимание на страну производства фильма и сериала, а так же на происхождение и\или акцент актёров. Я так отсмотрев недавно все сезоны "Люцифера" чуть не начал болтать с британским акцентом, настолько Том Эллис хорош и выразителен в этом сериале. Старайтесь не смешивать акценты -- это будет звучать крайне нелепо, почти как суржик.

Часто у изучающих язык возникает такой себе "страх произношения", когда вроде и словарный запас на месте, и грамматику человек интуитивит нормально, и восприятие речи хороше, а вот заставить себя открыть рот и сказать что-то -- не может. Заклинивает что-то там в мозгах и всё. Что-то типа Stage Frightening. Так вот -- пообщайтесь с голосовым ассистентом. С Кортаной, Сири, Алексой, Гуглом или кто у вас там под рукой есть. Кроме шуток -- эти ребята пиздец как требовательны к чёткости произношения.

Наконец, повторю то, с чего начал этот туториал -- учёба это всегда компромисс между комфортом и скоростью достижения результата. Как гласит старинная студенческая поговорка, лучше иметь синий диплом с красной рожей, чем красный диплом с синей рожей. Так и здесь -- если вас выбешивает любая бессмысленная зубрёжка, как меня, то найдите книгу, цикл книг, или насыщенный текстом видео-контент, потребление которого вам доставляет удовольствие. Пусть даже вы уже это читали-видели в переводе. Ютуб завален видосами разоблачителей того, как переводчики и локализаторы запарывают игру слов, непереводимые шутки или вообще делают переводы на похуй, снижая развлекательную ценность продукта. В общем, всегда можно найти что-то, что лично вам будет интересно прочитать или послушать на английском. И, однажды начав, никогда уже не останавливайтесь.

В конце гонцов, это всегда годный повод понтануться.

Как нарисовать женские колени