StableDiffusion

Обучение нейросети Pt.2

Штош, прошла неделя как я пытаюсь родить что то более менее нормальное через нейросеть, конечно результаты далеки от идеала, но я каждый день пробую новые варианты и уверен что рано или поздно смогу побороть её. Основные проблемы: 

1) Нейросеть очень плохо понимает что такое оружие, это должно произойти чудо что бы она нарисовала нормальный ствол, но т.к. я видел у амеров и азиатов что у них оно иногда выдаёт четкие стволы я выдвинул приедположение что необходимо копнуть глубже и в ширину, видимо необходим другой алгоритм обучения в другой проге ¯\_( ͡❛ ͜ʖ ͡❛)_/¯ штош, буду щупать. Вот такая вот она, пацифистка эта нейросеть.

2) Очень мало фотографий в разных позах. да, я могу зайти в тот же редактор или в конце концов в саму игру и наделать там скриншотов НО, давайте будем реалистами,  в сталкере настолько всратые анимации что даже нейросетка их пердолит и в итоге Лора и 1.5 часа обучения идут в топку, я попытался выкрутиться и закинуть просто позы для референсов и скриншоты из Dayz Stalker, ииии.....оно начала читать исключительно скриншоты из Dayz.....я не знаю почему, вся прога просто сама настроилась читать исключительно скриншоты из дейза......пришлось сносить все настройки и перенастраивать, но справедливости ради Экза начала очень неплохо выходить благодаря дейзу

3)Проблемы с Чекпойнтами. Я по большей части использую Photon, Deliberate и Reliberate, ибо это самые гибкие и удобные в использовании модели, но в них по большей части заложены фотографии и настройки на Гипер реализм, чёткость и т.д. в том числе такие таргетовые слова как pants, sweater, outfit, из-за этого при обучении желательно избегать таких слов потому что нейросеть начинает дуреть и смешивать свои картинки с картинками лоры, но иногда просто нереально их избегать, в итоге получаются истинные мутанты зоны. ¯\_( ͡ಥ ͜ʖ ͡ಥ)_/¯

Самый проработанный конечно получился комбинезон "Заря", это отдельная благодарность 

Марии "Заноза" Компаниец и творческой мастерской "Артель Путник" за косплеи одиночки, фотографии которой легли в основу обучения ИИ (фотографии использовались из открытых источников и авторские права не нарушались). Благодаря высокому качеству фотографий ИИ смог нормально их считать и иногда даже чётко повторять текстуру ткани или жилета. На данный момент я смог обучить на комбинезон Заря (Одиночки), Ветер Свободы (Свобода), Комбинезон Наёмников, Плащ бандитов, Экзоскелет (Свободы), ПС3-9д (ДОЛГ). В дальнейшем планирую доделать все костюмы и окружение. Брал за основу персонажа девушку потому что обучалась она на мужских персах, и интересно было насколько она гибкая в плане другого пола, так же стараюсь их делать гибкие под разные стили рисовки. Работы много, но лёд тронулся и пока что я частично доволен результатами, работаем дальше. 

Ради интереса провёл эксперимент - "отнейронить" и фуррифицировать фотку PVC-фигурки

Если кому интересно - в продолжении промежуточные этапы

Фотка самой фигурки

Включаю свои mad skillz, чтобы сделать из фотки скетч для нейронки

Затем прогон скетча через img2img и составление промпта. Один из полученных вариантов

И в конце концов ручками в пейнт.нете ремонт жирафьей шеи, кистей, и добавление/исправление мелких деталей (потому что делать это через инпейнт нейронки - боль и слишком рандомно).

INB4 "а чего просто не сунул фотку в нейронку, без всяких скетчей?"

Потому что получается совсем другой результат и другой персонаж. Хотя конечно и с этим способом можно получить интересные результаты. Например, с низким денойзом получается как будто 3D-стиль (это без дополнительных обработок)

Перенос позы через ControlNet, затем по кругу то корректировка в Photoshop и полировка этого участка с помощью Inpaint. А что-то тупо было подкопирку перерисовано с исходного мема (руки), или с найденной в сети 3d модели (кеды), или с лого сайта.. и конечно проходился потом по этому участку с помощью Inpaint. Разве что только к тени Stable Diffusion не притрагивался, тк он постоянно какие-то образы там находил.