Нейросеть реализм

Эксперименты в реализм

Вопрос от мясного художника к нейро-гуру

Наблюдал за прогрессом нейросетей в сфере арта сначала с иронией, потом - с беспокойством, ну а сейчас - с тихо сдерживаемой паникой. Теперь вот пытаюсь "заскочить в уходящий поезд" и ускорить свою работу при посредстве Stable Diffusion. Более-менее начал что-то понимать, но застопорился  на такой штуке - как сохранить стилизацию? Вот я, типа, зашёл на civitai и вижу модель с нужной мне стилизацией. Скачал, написал промт, генерю - хуй. В смысле - получаю не стилизацию, а какой-то усреднённый реализм. Что я делаю не так? :(

Думал, что дело в плохо подобранных промптах, копировал их с подходящих работ, но у меня всё равно получается тот же самый ёбаный реализм. Вот, для наглядности, модель https://civitai.com/models/12597/moxin

У автора в примерах и у тех, кто постит комменты с использованием этой модели получается что-то вроде смеси аниме и традиционного китайского рисунка тушью. А у меня - ну не фото, конечно, но какая-то реалистичная хуйня.  

Или это вообще не так работает и модель не при чём, а надо что-то другое (что?) делать?

Заранее спасибо за ответы.

Опять я, опять мыши

Нейросеть Midjourney обновилась до пятой версии

Что нового:

► Более широкий стилистический диапазон, повышена отзывчивость на промты;

►Разрешение увеличено в 2 раза, улучшен динамический диапазон и детализация;

►Лучше генерирует зубы и руки.

Все пикчи в посте были сгенерированы с использованием Midjourney v5.

via https://t.me/ru2ch/71802

Принцесса Жасмин в стиле художников известных аниме

Обучение нейросети Pt.2

1) Нейросеть очень плохо понимает что такое оружие, это должно произойти чудо что бы она нарисовала нормальный ствол, но т.к. я видел у амеров и азиатов что у них оно иногда выдаёт четкие стволы я выдвинул приедположение что необходимо копнуть глубже и в ширину, видимо необходим другой алгоритм обучения в другой проге ¯\_( ͡❛ ͜ʖ ͡❛)_/¯ штош, буду щупать. Вот такая вот она, пацифистка эта нейросеть.

2) Очень мало фотографий в разных позах. да, я могу зайти в тот же редактор или в конце концов в саму игру и наделать там скриншотов НО, давайте будем реалистами,  в сталкере настолько всратые анимации что даже нейросетка их пердолит и в итоге Лора и 1.5 часа обучения идут в топку, я попытался выкрутиться и закинуть просто позы для референсов и скриншоты из Dayz Stalker, ииии.....оно начала читать исключительно скриншоты из Dayz.....я не знаю почему, вся прога просто сама настроилась читать исключительно скриншоты из дейза......пришлось сносить все настройки и перенастраивать, но справедливости ради Экза начала очень неплохо выходить благодаря дейзу

3)Проблемы с Чекпойнтами. Я по большей части использую Photon, Deliberate и Reliberate, ибо это самые гибкие и удобные в использовании модели, но в них по большей части заложены фотографии и настройки на Гипер реализм, чёткость и т.д. в том числе такие таргетовые слова как pants, sweater, outfit, из-за этого при обучении желательно избегать таких слов потому что нейросеть начинает дуреть и смешивать свои картинки с картинками лоры, но иногда просто нереально их избегать, в итоге получаются истинные мутанты зоны. ¯\_( ͡ಥ ͜ʖ ͡ಥ)_/¯

Марии "Заноза" Компаниец и творческой мастерской "Артель Путник" за косплеи одиночки, фотографии которой легли в основу обучения ИИ (фотографии использовались из открытых источников и авторские права не нарушались). Благодаря высокому качеству фотографий ИИ смог нормально их считать и иногда даже чётко повторять текстуру ткани или жилета. На данный момент я смог обучить на комбинезон Заря (Одиночки), Ветер Свободы (Свобода), Комбинезон Наёмников, Плащ бандитов, Экзоскелет (Свободы), ПС3-9д (ДОЛГ). В дальнейшем планирую доделать все костюмы и окружение. Брал за основу персонажа девушку потому что обучалась она на мужских персах, и интересно было насколько она гибкая в плане другого пола, так же стараюсь их делать гибкие под разные стили рисовки. Работы много, но лёд тронулся и пока что я частично доволен результатами, работаем дальше. 

Stable Diffusion 3 теперь доступна для скачивания и запуска локально

Генерация по промту: Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy

Теперь модель можно скачать и запустить локально (пока только Medium-версию). Разработчики пишут, что новая модель лучше понимает текст промта, более реалистичная в плане рук и лиц. А так же лучше запоминает детали на даже на небольших дата сетах. Одна из интересных фитч - генерация надписей.

Еще пишут что она "идеально подходит для работы на стандартных потребительских графических процессорах без снижения производительности". Но тут бы я поспорил, легко переварить 10Gb не каждая видеокарта сможет. На моей машине работает медленнее по сравнению с SDXL.

Скачать саму модель можно с civitai или huggingface. Запустить на данный момент только в comfyui.

Немного погонял локально, промты действительно понимает хорошо. Но модель "недообучена" - качество оставляет желать лучшего. Предыдущие версии тоже от этого страдали, но люди из комьюнити допиливали до вполне не плохих результатов.

Сложный промт с положением объектов на картинке указанием цветов (у прошлых моделей возникали проблемы):

Three bottles on a table in a kitchen. Bottles that look like cola. Left bottle is full of blue liquid with the number 1 on it. Middle bottle is full of white liquid with the number 2 on it. Right bottle is full of red liquid with the number 3 on it.

Видно, что модель четко следует промту. Круто!

Попробуем с людьми: 

Forest in the background. Dark theme, sunset, look at at viewer, captured in the late afternoon sunlight. Photo of three 21 year old woman. Left woman is blonde with the number 1 on blue T-shirt. Middle woman is redhead with the number 2 on white T-shirt. Right woman is brown hair with the number 3 on red T-shirt. Wearing shorts

Тут пришлось сначала описать лес на фоне, потому что иначе он выглядел как будто прифотошопленным. В остальном модель четко соблюдает номера, цвет футболок и волос. Раньше, без танцев с бубном, четко прописать нескольких разных типажей на одной картинке было почти не реально - детали сливались и получались клоны. А в новой версии достаточно просто описания. 

А что по надписям на картинке? Попробуем:

Neon sign with the text "Ты пидор"

Видимо, русскую кодировку не завезли, но видно что модель старается, попробуем иначе:

Neon sign with the text "You are awesome!"

Попробуем сгенерить котика:

A black cat walking along a street paved with stone.Close-up of a cat's face.

Опять неплохо, хотя пришлось реролить несколько раз, что бы получить более-менее нормальный результат. Модель знает основы анатомии кота, но иногда больше похоже на детский рисунок.

Как на счет аниме?

Illustration anime, cartoon. 1woman, blue eyes, brown hair, dynamic angle, centered, full body photo. Street in the background

Опять пришлось реролить несколько раз. Заметил, что если указывать больше деталей, картинка получается лучше.

Попробуем городской пейзаж:

Urban photography: houses, trees, cars, and peoples. the road goes from the bottom left to the right

Осторожно: если долго рассматривать картинку, можно подумать что у тебя инсульт...

Что мы имеем на данный момент? Пока реализм хромает... Не всегда с первого раза выходит что нужно. Лично я ожидал большего. Все те же проблемы с руками и склонностью к "плоскости" перспективы и объектов. 

Но есть ощущение, что модель действительно лучше понимает что от нее хотят. Будем надеется, что дообучение будет по силам сообществу, и мы увидим NSFW версию от авторов Juggernaut или Pony Diffusion.

ЗЫ: надеюсь теги эротики и аниме не нужны.

Сел тут поразбираться со Stable diffusion. 

Пытался упороться в реализм. Поэтому лисьи ушки пришлось делать игрушечными, а то получалась жесть.