table Diffusion

Stable Diffusion 3 теперь доступна для скачивания и запуска локально

Генерация по промту: Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy

Теперь модель можно скачать и запустить локально (пока только Medium-версию). Разработчики пишут, что новая модель лучше понимает текст промта, более реалистичная в плане рук и лиц. А так же лучше запоминает детали на даже на небольших дата сетах. Одна из интересных фитч - генерация надписей.

Еще пишут что она "идеально подходит для работы на стандартных потребительских графических процессорах без снижения производительности". Но тут бы я поспорил, легко переварить 10Gb не каждая видеокарта сможет. На моей машине работает медленнее по сравнению с SDXL.

Скачать саму модель можно с civitai или huggingface. Запустить на данный момент только в comfyui.

Немного погонял локально, промты действительно понимает хорошо. Но модель "недообучена" - качество оставляет желать лучшего. Предыдущие версии тоже от этого страдали, но люди из комьюнити допиливали до вполне не плохих результатов.

Сложный промт с положением объектов на картинке указанием цветов (у прошлых моделей возникали проблемы):

Three bottles on a table in a kitchen. Bottles that look like cola. Left bottle is full of blue liquid with the number 1 on it. Middle bottle is full of white liquid with the number 2 on it. Right bottle is full of red liquid with the number 3 on it.

Видно, что модель четко следует промту. Круто!

Попробуем с людьми: 

Forest in the background. Dark theme, sunset, look at at viewer, captured in the late afternoon sunlight. Photo of three 21 year old woman. Left woman is blonde with the number 1 on blue T-shirt. Middle woman is redhead with the number 2 on white T-shirt. Right woman is brown hair with the number 3 on red T-shirt. Wearing shorts

Тут пришлось сначала описать лес на фоне, потому что иначе он выглядел как будто прифотошопленным. В остальном модель четко соблюдает номера, цвет футболок и волос. Раньше, без танцев с бубном, четко прописать нескольких разных типажей на одной картинке было почти не реально - детали сливались и получались клоны. А в новой версии достаточно просто описания. 

А что по надписям на картинке? Попробуем:

Neon sign with the text "Ты пидор"

Видимо, русскую кодировку не завезли, но видно что модель старается, попробуем иначе:

Neon sign with the text "You are awesome!"

Попробуем сгенерить котика:

A black cat walking along a street paved with stone.Close-up of a cat's face.

Опять неплохо, хотя пришлось реролить несколько раз, что бы получить более-менее нормальный результат. Модель знает основы анатомии кота, но иногда больше похоже на детский рисунок.

Как на счет аниме?

Illustration anime, cartoon. 1woman, blue eyes, brown hair, dynamic angle, centered, full body photo. Street in the background

Опять пришлось реролить несколько раз. Заметил, что если указывать больше деталей, картинка получается лучше.

Попробуем городской пейзаж:

Urban photography: houses, trees, cars, and peoples. the road goes from the bottom left to the right

Осторожно: если долго рассматривать картинку, можно подумать что у тебя инсульт...

Что мы имеем на данный момент? Пока реализм хромает... Не всегда с первого раза выходит что нужно. Лично я ожидал большего. Все те же проблемы с руками и склонностью к "плоскости" перспективы и объектов. 

Но есть ощущение, что модель действительно лучше понимает что от нее хотят. Будем надеется, что дообучение будет по силам сообществу, и мы увидим NSFW версию от авторов Juggernaut или Pony Diffusion.

ЗЫ: надеюсь теги эротики и аниме не нужны.

Модель NovelAI под Stable-Diffusion

Там недавно слили исходники NovelAI, на сколько знаю сервис генерит истории по описанию, что то вроде AI Dungeon. Но с 3 октября у них появилась фича генерить и изображения по описанию. Собственно слили и её.

Автор репозитория одной из сборок, AUTOMATIC1111 добавил в свою сборку поддержку работы новых слитых моделей ,его кстати забанили в офф. дискорде Stable Diffusion после произошедшего.

Если хотим поиграться с новой моделью, а выдаёт она довольно неплохие результаты, то нам нужно:

1. Установить сборку Stable Diffusion от AUTOMATIC1111 - https://github.com/AUTOMATIC1111/stable-diffusion-webui

2. Качаем модель (у них есть NSFW и SFW версии) и некоторые ещё необходимые вещи из слитых материалов - magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc&dn=novelaileak

3. Переименуйте model.ckpt, что лежит внутри animefull-final-pruned в любоеназвание.ckpt. например в novelai.ckpt, теперь переименуем animevae.pt в название которое мы дали предыдущему файлу и добавляем к нему .vae.pt к примеру в novelai.vae.pt... Теперь заходим директорию \stable-diffusion-webui\, заходим в папку models и создаём там папку с именем hypernetworks и кидаем в неё файлы aini.pt, anime.pt, anime_2.pt и т.д из папки modules, что мы скачивали. Теперь в папку \models\Stable-diffusion\ с основными моделями что мы используем, переносим ранее переименованый файл novelai.ckpt и файл novelai.vae.pt

4. Запускаем Stable Diffusion и переходим в настройки, ищем раздел "Stable Diffusion" и включаем нужную модель и finetune hypernetwork

NovelAI использует CFG:11 и негативные промты: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, поэтому если хотите результаты похожие на те, что генерит оригинальная, то используйте эти параметры.

В некоторых промптах взятых напрямую из NovelAI может встречаться синтаксис {}. Он предназначен только для официального сервиса NovelAI. Так же усиливает акцент, как и (), но акцентирование увеличивается только в 1,05 раза вместо 1.1 с (). Поэтому если прям точь в точь повторить результат с понравившегося промпта, что увидели в интернетиках, то используем (слово:1.05) или видим {{}}, то используем (слово:1.1025)... А лучше почитайте https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features для понимания всяких тонких фишек.

Ну надеюсь всё правильно описал расписал. Если есть вопросы спрашивайте, если они в рамках понимания моего разума, то отвечу. Ниже приложу пару примеров изображений и промптов к ним, которые способна выдать модель. К слову через эту модель лучше генерить всякие анимешные арты ибо они там получаются лучше всего.

Мои:

((masterpiece)), painting of a ((Mandalorian)) bounty hunter, Star wars, Tatooine, space, stars, art by John J. Park
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3998559443, Size: 512x704, Model hash: 925997e9

((masterpiece)), girl,red dress,short hair,summer, twintails, black hair,
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3013799092, Size: 512x704, Model hash: 925997e9

copic, thick outlines, {{mohawk, shaved sides}}, 1girl, {vibrant}, deep shadows, deep space, {{80s, scifi, movie poster}}, skin tight spacesuit, jumpsuit, {power armor}, {{small breasts}}, closeup, detailed eyes, torso, headshot

{{BEST QUALITY}}, {{MASTERPIECE}}, {{HIGH RES}}, {{CINEMATIC LIGHTING}}, {{DETAILED}}, {{TELEPHOTO LENS}}, beautiful hd background, high detailed background, {realistic shadows}, HD shadows, {{{midjourney}}}, tarte (hodarake), Anor Lando, avataart, Andy Livy, by dark album, god teir background art, realistic, realistic portrait, masterpiece portrait, {{{{{{MASTERPIECE}}}}}}, sharp, photo realistic, background focus, {{{{{background only}}}}}, futuristic city, future, advanced technology, neon lights, holograms, flying ships, buildings metalic silver , advanced civilization, year 5096 , science fiction, sci-fi, futuristic dome, matrix

{white hair}, {very long hair}, gloves, black yellow coat, bandaged wrist, torn clothes, {{black}} eyeshadow, black and white eyes, earrings, {{floating crown}}, {star halo}, detached wings, {{masterpiece}}, {1girl}, black smear on right side of face, space background, {goddess}, {standing on a white platform}, {star symbol on clothes}, star earrings, {{medium}} breasts, bandaged torso, patterns on eye pupils, long majestic black yellow coat, chain earrings, makeup, large black and yellow coat, inside a cathedral at night, {detailed large crown}, character focus, floating stars, presenting a menger cube, magic cubes on background, dark magic, serious, {divine}, {{teenage}}, mini universe above hand, black cubes on the background, supernova on the background, decorated hair, covered body, {{{black background}}}, light above head, spirals on background, fractal patterns, {{dirty face}}, bandaged arms, fractal background

Нагенерил мрачного арта

Попытка в Stable Diffusion или получение гражданства Reactor

Первый пост и попытка выйти из readonly

Как и многие из Вас я в свободное время экспериментирую со Stable Diffusion и захотелось подлиться с Вами.
Никакого Photoshop и постобработки - все на промптах.
Если зайдет - буду продолжать. Если не зайдет - закину.

Color cutoff stable diffusion extension

Расширение, устанавливаемое на WebUI от Automatic1111, позволяющее жёстко привязать запрашиваемый цвет к указанному в промпте объекту. Наверняка замечали, что при запросе различных цветов для различных деталей нейросетка часто рисует указанные цвета где попало на изображении. Вот,например [a cute girl, white shirt with green tie, red shoes, blue hair, yellow eyes, pink skirt]

Волосы внезапно стали розовыми,несмотря на прямое указание их голубого цвета в промпте. А вот результат после подключения данного модуля (все прочие настройки, включая seed остались без изменения):

Инструкция для установки и использования по шагам:
1. Запускаем нейросеть, открываем вкладку [Extensions] и подвкладку [Install from URL]. Туда вводим "https://github.com/hnmr293/sd-webui-cutoff" без кавычек. Жмём [Install], перезапускаем нейросеть (закрыть консоль и запустить заново).
2. Во вкладке новых text2image генераций вводим свой промпт, например [a cute girl, white shirt with green tie, red shoes, blue hair, yellow eyes, pink skirt] и прочие настройки, что вам нравятся.
3. Обращаем внимание, что после установки и перезапуска внизу вкладки text2image появилось дополнительное ниспадающее меню. Разворачиваем его, чекаем бокс [Enabled] и вводим цвета объектов, указанных в промпте, разделяя их запятыми. В примере выше это [white, green, red, blue, yellow, pink,]. Не забываем запятую после последнего токена, автор указывает, что она важна и без неё могут быть ошибки. Вес (weight) выкручиваем на максимум (2). Прочие детали пока не трогаем, поиграться с ними можно позднее, сам ещё не до конца разобрался.
4. Жмём волшебную кнопку генерации и наблюдаем результат.

ВАЖНО: дополнение создано преимущественно для анимешных моделей на базе SD 1.5. При попытке работать с ним на весах (моделях, чекпоинтах) на базе SD 2.0 и 2.1 результаты были менее впечатляющими.

Вот ещё пара картинок для сравнения. Слева картинка до включения дополнения, справа - с его использованием. Простите за кривую вёрстку, я рукожоп. Создано на Anything 3.0

#0 Give priority to colors, put them first and then everything else, 1girl, masterpiece... but without going overboard, remember tip #3.
Ставьте цвет в приоритете, помещайте его перед всем прочим, но не переборщите, помните про третий совет.

#1 The last Token of Target Token must have "," like this: [white, green, red, blue, yellow, pink,]
ATTENTION: For some people it works to put a comma at the end of the token, for others this gives an error. If you see that it has an error, delete it.После последнего токена в поле Target Token должна стоять запятая, как в примере: [white, green, red, blue, yellow, pink,]ВНИМАНИЕ: у некоторых работает нормально при помещении запятой в конец токена, а у некоторых выдаёт ошибку. Если у вас выскочила ошибка - удалите запятую. 

#2 The color should always come before the clothes. Not knowing much English happened to me that I put the colors after the clothes or the eyes and the changes were not applied to me.
Описание цвета нужно ставить перед объектов в промпте. Не зная английского, я указывал цвет после упоминания одежды/глаз и изменения не применялись.

#3 Do not go over 75 token. It is a problem if they go to 150 or 200 tokens.
Не напихивайте больше 75 токенов (деталей промпта, разделённых запятыми). Большое количество токенов для дополнения сложновато.

#4 If you don't put any negative prompt, it can give an error.
Если не вводить негативный промпт, то может выскочить ошибка.

Ещё автор пишет, что эффективность дополнения 95%, однако, лично у меня результаты менее впечатляющие. Вероятно, это связано с тем, что автор предпочитает какую-то конкретную модель.

мои первые шаги с нейронками

Скормил свою аву нейросети

Stable Diffusion: