Stable diffusion нейронные сети много картинок длиннопост нейроарт 

Получил доступ в бету Stable Diffusion, делюсь впечатлениями и изысканиями

Больше недели развлекаюсь с нейросетью, накопил архив удачных и не очень генераций, решил скомпилировать сюда, может, кому интересно. 

Бэкстори: Stable Diffusion обещает быть полностью опенсорсным, пока что доступ для 15 тысяч бета-тестеров идёт через дискорд, вскоре грозятся запустить сайт, для исследователей есть возможность заполнить форму и скачать модель, чтобы запускать у себя локально. В конечном итоге они обещают выложить модель и веса в открытый доступ, бесплатно. Особая прелесть сети в том, что она, как утверждает руководитель проекта, способна работать с 5.1 Гб видеопамяти - т.е. её можно запустить на домашнем ПК и генерировать изображения за несколько секунд.

Упреждая ваш вопрос - да, сеть умеет генерировать сиськи, причем зачастую даже если её об этом не просить, например, по запросу "нимфа" или "соблазнительная". Причем они даже ок. Пользовательское соглашение гласит, что вы не будете генерить NSFW, пока используете сервера проекта, если это случилось - нужно зарепортить модеру, но в целом правила очень лояльны, за всё время из 15к участников выгнали около 70, за то что они настойчиво генерировали NSFW. Когда модель станет доступна, то на своём железе можно будет генерить что душе угодно.

Итак, на что я потратил всё это время? Я пытаюсь немного экспериментировать, чтобы выяснить, как запросы (prompt) влияют на изображение. У сети есть удобная фича - генерация выдаёт сид, с которого сгенерирован шум, лежащий в основе изображения. С его помощью можно повторно генерировать картинки с небольшими изменениями в запросе.

Используя один и тот же запрос и меняя только имена авторов, я составил для себя таблицу с референсами на стили известных художников. Дисклеймер: все изображения сгенерировались с первого раза, я не пытался повторять попытки и выбрать что получше

CHARLIE B O WATER
ALPHONSE\MMHA
ARTGERM
HUIS RQiYiO
ILYA KUVSHIN©.V
sophie anders;©®
TOM BAGSHAWi
'AB.0LPHE BQUGUEREA
FRANK MOER
JACK KIRBY
MARK BR®;®K‘S
HIROHIK®MRAK'l
EICHIRO om
'ATSUSHI noshig:®ri
DIEGO VELAZQ№
GREG RUiTiK®WSKI
HELENE KNO@B
MANDY JURGENS
RUAN JIA

Как видно, какие-то получаются лучше, чем другие. Но вообще, портретики в стиле Артгерма получаются у сети лучше всего. Забавно при этом то, что если указывать рандомные имена в качестве художников, сеть всё равно делает вид, будто всё идёт по плану.

CHEN ШШ
. I AMES WEBB,Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Что характерно, портреты очень часто удачно получаются с первой попытки. Я скопировал описание Ферро из "Первого закона" Аберкромби и получил весьма годные результаты, правда без шрамов.

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Как вообще работает это хрень и что такое диффьюжн? Это лучше загуглить, ибо моё представление весьма туманно. Сеть генерирует шум, и потом начинает... обратно размывать изображение, типа как можно заблюрить картинку до полной каши, а тут процесс в обратную сторону? Делается это пошагово, максимум дают сделать 150 шагов, по дефолту 50. Процесс примерно можно увидеть на ролике с контрафактной Элой ниже, число в углу это количество шагов.

Что ещё хорошего умеет сеть? Она неплохо справляется с бэкграундами, простые вещи выглядят вполне убедительно, особенно если не всматриваться. 

Хаяо Миядзаки, осенний лес

			
			yV V t"
г	’jSSaSH	\1Щ&&	r^V %á
		г lж Ib	s\pt,Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Хаяо Миядзаки, выжженная пустыня

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Хаяо Миядзаки, зимний городок

	
f	
	Щ
	
	t
' *•		
1.“ *		t
	r
	I' ',Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Хаяо Миядзаки, пустоши

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Портовый город, бэк из видеоигры

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Мрачный средневековый город, бэк из видеоигры

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Ну и конечно, дело не ограничивается артами, сеть также умеет в фото, вот вам моя коллекция Снейков (солидных, ибо за нагих Снейков дают таймаут).

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

На самом деле Снейк - очень неудачная модель, т.к. его глазная повязка сбивает сеть с толку.

Вот вкратце сильные стороны нейросети. Теперь давайте об её слабостях, ибо их хватает. Например, генерировать персонажей в полный рост - сущее мучение, я не знаю, в чем дело, то ли привычка художников обрезать персонажам ноги, то ли криво кропнутые картинки в базе, на которой училась сеть, но в 2/3 случаев при запросе персонажа в полный рост вы получите или обрезанного, иногда с головы, перса, или персонажа с лишними телами и головами. Если портреты отлично генерятся с первой попытки, то с персонажами нужно основательно мучатся. Единственный плюс: если вы нашли удачный сид, где перс в полный рост, его можно переиспользовать. Ниже типичные запоротые генерации, и это ещё не самое стрёмное.


		Ж	VAJi \ шн	[¿2jF [ |Й1|		1 fc -.\ , -<			'* >CV n^c^IvIl4-^1 1
y. i Г			L*n ? АТ'Л- ’.Ч ' ÀL '	4 Jh й fJf-Æ	ЩА \/ jp 1 \j®			^ J9*"~	
• «
-.-v T,Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Один из способов консистентно получать персонажа в полный рост - использовать запрос anime model sheet в разрешении 512 на 1024, но тогда сильно страдает детализация.

		
г ш\ v4\l(U г як Г ^ ■		ЩМ-’I : 1 VM
	Н^нЬ ■•* 5 LJ| ,■■ ИВЛЯ^^ ШН	^ л vi- / - i
	■ ч|	V-s4hX>‘,Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Еще одно ограничения, которое я пока не знаю как обойти - слишком детализированные запросы. Например, здесь 4 изображения по запросу "женщина с белыми волосами, жёлтыми глазами и в красном платье". Сеть путает, какие цвета к чему относятся.

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Заключение. Stable Diffusion пока что немного уступает по качеству изображений DALL-E 2, на мой взгляд получше чем Midjourney, при этом значительно быстрее и не обременена цензурой, и это только первая стадия бета-теста. Несмотря на определённые ограничения, сеть уже вполне может генерить простые стоковые картинки, кастомные аватарки для вашей гномки-лича в Пасфайндере и возможно даже задники для вашей инди-игры.

Окей, пост уже и так непомерно длинен, так что я закругляюсь, описал далеко не всё, если есть вопросы - задавайте, постараюсь ответить.

Развернуть

The Owl House Дисней Мультфильмы Lilith Clawthorne gif Каляки-Маляки фэндомы 

Лилит из второго сезона

The Owl House,Дом совы, ,Дисней,Disney,Мультфильмы,Lilith Clawthorne,Лилит,gif,Каляки-Маляки,каляки-маляки, Каляки-Маляки, Каляки маляки, ,фэндомы

Развернуть

хоба! The Owl House Дисней Мультфильмы Eda Clawthorne Каляки-Маляки фэндомы 

хоба!,The Owl House,Дом совы, ,Дисней,Disney,Мультфильмы,Eda Clawthorne,Ида, Ида Клавторн,Каляки-Маляки,каляки-маляки, Каляки-Маляки, Каляки маляки, ,фэндомы

хоба!,The Owl House,Дом совы, ,Дисней,Disney,Мультфильмы,Eda Clawthorne,Ида, Ида Клавторн,Каляки-Маляки,каляки-маляки, Каляки-Маляки, Каляки маляки, ,фэндомы


Развернуть

The Owl House Дисней Мультфильмы Lilith Clawthorne Eda Clawthorne Helltaker Игры gif crossover 

запощу и сюда, раз уж сделали фэндом совьего дома
Развернуть

The Owl House Дисней Мультфильмы Каляки-Маляки фэндомы gif 

Никто не ожидает Револьвер-Бошу

Развернуть

Каляки-Маляки фэндомы The Owl House Дисней Мультфильмы gif Eda Clawthorne 

Развернуть

sailormoonredraw The Owl House Дисней Мультфильмы Каляки-Маляки фэндомы Eda Clawthorne 

sailormoonredraw,Sailor Moon redraw challenge,The Owl House,Дом совы, ,Дисней,Disney,Мультфильмы,Каляки-Маляки,каляки-маляки, Каляки-Маляки, Каляки маляки, ,фэндомы,Eda Clawthorne,Ида, Ида Клавторн
Развернуть

She-Ra and the Princesses of Power The Owl House Дисней Catra Evil Horde Masters of the Universe Luz (TOH) crossover Каляки-Маляки фэндомы ...Мультфильмы 

Ши-ра заканчивается 15 мая Т_Т

это КУЛЬТУРНАЯ АПРОПРИАЦИЯ,She-Ra and the Princesses of Power,Мультфильмы,The Owl House,Дом совы, ,Дисней,Disney,Catra,Evil Horde,Masters of the Universe,Luz (TOH),crossover,Каляки-Маляки,каляки-маляки, Каляки-Маляки, Каляки маляки, ,фэндомы


Развернуть

The Owl House Дисней Мультфильмы Каляки-Маляки фэндомы 

ЭЙ ЛУЗ, АЛЯ ЧЕГО ЭТА ШТУКА?,The Owl House,Дом совы, ,Дисней,Disney,Мультфильмы,Каляки-Маляки,каляки-маляки, Каляки-Маляки, Каляки маляки, ,фэндомы


Развернуть

adventure time фэндомы Jake The Owl House Дисней Мультфильмы crossover gif at art Каляки-Маляки 

adventure time,время приключений,фэндомы,Jake,Джейк - Пес, джейк,The Owl House,Дом совы, ,Дисней,Disney,Мультфильмы,crossover,gif,at art,Каляки-Маляки,каляки-маляки, Каляки-Маляки, Каляки маляки,


Развернуть