старый воин, меч, Stable diffusion
»пидоры помогите нейронные сети Stable diffusion
Требуется помощь со Stable Diffusion
Проблема такая: имеется видеокарта amd rx6750, а нейросетки больше любят Nvidea, искал аналоги на амд, пока использую SD WebUI DML Neuro, но у неё нет возможности использования LoRa.
Во время поисков нашёл вот такой вариант на DirectML https://github.com/lshqqytiger/stable-diffusion-webui-directml
Не запускается, так же просит нвидеа карту
Однако никакие настройки и внесение в аргументы мне не помогли. А использовать через процессор мне не хочется, слишком долго создает картинку.
Питон 3.10 и гит установлены. Брал информацию так же отсюда https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-on-AMD-GPUs
Я плохо в таких делах разбираюсь, так что решение проблемы найти не смог. Взываю к тем кто более умён в данном вопросе
Stable diffusion нейронные сети гайд ControlNet automatic1111
Правильная установка ControlNet в SD webui
Хочу поделиться с вами моим постом с github и reddit.
Я потратил много времени на поиск и решение проблемы с ошибками при установке ControlNet, десятки раз переустанавливал webui и перечитал море информации на github. Пока что данный способ самый рабочий из всех и позволяет обойти ошибки установки mediapipe, OSError и permissions при установке ControlNet.
Сперва я рекомендую сделать чистую установку SD webui, но если такой возможности нет, то удалите расширение controlnet в папке extensions и удалите папку venv, после чего запустите webui-user.bat, дождитесь пока webui восстановит удалённые папки и загрузит все файлы, затем закройте webui.
Перейдите в папку с SD webui, щелкните на строку с директориями и введите "cmd", нажмите enter.
Откроется командная строка и вы увидите путь к вашей папке с webui.
Теперь вам нужно поочередно вводить эти команды, терпеливо дожидаясь завершения всех операций (я выделил команды жирным текстом):
F:\stable-diffusion-webui>venv\scripts\activate.bat
(venv) F:\stable-diffusion-webui>pip install mediapipe
(venv) F:\stable-diffusion-webui>pip install svglib
(venv) F:\stable-diffusion-webui>pip install fvcore
(venv) F:\stable-diffusion-webui>pip install "opencv-python>=4.8.0"
(venv) F:\stable-diffusion-webui>pip install https://github.com/Gourieff/Assets/raw/main/Insightface/insightface-0.7.3-cp310-cp310-win_amd64.whl --prefer-binary
(venv) F:\stable-diffusion-webui>deactivate
Готово. Теперь запустите файл webui-user.bat и установите/переустановите расширение controlnet. Сообщения об ошибках больше не должны появляться и расширение будет работать нормально. Если и появятся какие-то ошибки, то можете их игнорировать либо написать в комментариях, я попробую разобраться.нейронные сети Stable diffusion длиннопост
Stable Diffusion 3 теперь доступна для скачивания и запуска локально
Генерация по промту: Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy
Теперь модель можно скачать и запустить локально (пока только Medium-версию). Разработчики пишут, что новая модель лучше понимает текст промта, более реалистичная в плане рук и лиц. А так же лучше запоминает детали на даже на небольших дата сетах. Одна из интересных фитч - генерация надписей.
Еще пишут что она "идеально подходит для работы на стандартных потребительских графических процессорах без снижения производительности". Но тут бы я поспорил, легко переварить 10Gb не каждая видеокарта сможет. На моей машине работает медленнее по сравнению с SDXL.
Скачать саму модель можно с civitai или huggingface. Запустить на данный момент только в comfyui.
Немного погонял локально, промты действительно понимает хорошо. Но модель "недообучена" - качество оставляет желать лучшего. Предыдущие версии тоже от этого страдали, но люди из комьюнити допиливали до вполне не плохих результатов.
Несколько примеров на модели SD3 Medium Incl Clips T5XXLFP8Сложный промт с положением объектов на картинке указанием цветов (у прошлых моделей возникали проблемы):
Three bottles on a table in a kitchen. Bottles that look like cola. Left bottle is full of blue liquid with the number 1 on it. Middle bottle is full of white liquid with the number 2 on it. Right bottle is full of red liquid with the number 3 on it.
Видно, что модель четко следует промту. Круто!
Попробуем с людьми:
Forest in the background. Dark theme, sunset, look at at viewer, captured in the late afternoon sunlight. Photo of three 21 year old woman. Left woman is blonde with the number 1 on blue T-shirt. Middle woman is redhead with the number 2 on white T-shirt. Right woman is brown hair with the number 3 on red T-shirt. Wearing shorts
Тут пришлось сначала описать лес на фоне, потому что иначе он выглядел как будто прифотошопленным. В остальном модель четко соблюдает номера, цвет футболок и волос. Раньше, без танцев с бубном, четко прописать нескольких разных типажей на одной картинке было почти не реально - детали сливались и получались клоны. А в новой версии достаточно просто описания.
А что по надписям на картинке? Попробуем:
Neon sign with the text "Ты пидор"
Видимо, русскую кодировку не завезли, но видно что модель старается, попробуем иначе:
Neon sign with the text "You are awesome!"
Попробуем сгенерить котика:
A black cat walking along a street paved with stone.Close-up of a cat's face.
Опять неплохо, хотя пришлось реролить несколько раз, что бы получить более-менее нормальный результат. Модель знает основы анатомии кота, но иногда больше похоже на детский рисунок.
Как на счет аниме?
Illustration anime, cartoon. 1woman, blue eyes, brown hair, dynamic angle, centered, full body photo. Street in the background
Опять пришлось реролить несколько раз. Заметил, что если указывать больше деталей, картинка получается лучше.
Попробуем городской пейзаж:
Urban photography: houses, trees, cars, and peoples. the road goes from the bottom left to the right
Осторожно: если долго рассматривать картинку, можно подумать что у тебя инсульт...
Что мы имеем на данный момент? Пока реализм хромает... Не всегда с первого раза выходит что нужно. Лично я ожидал большего. Все те же проблемы с руками и склонностью к "плоскости" перспективы и объектов.
Но есть ощущение, что модель действительно лучше понимает что от нее хотят. Будем надеется, что дообучение будет по силам сообществу, и мы увидим NSFW версию от авторов Juggernaut или Pony Diffusion.
ЗЫ: надеюсь теги эротики и аниме не нужны.
нейронные сети гайд Stable diffusion раздетые нейросеткой
Как отредактировать любой рисунок с помощью нейросети Stable Diffusion. Подробный гайд
Будем считать, что вы уже установили и настроили Automatic1111's Stable Diffusion web-gui, а также скачали расширение для ControlNet'a и модели для него. Нам нужно будет лишь controlNet Inpaint и controlNet Lineart.
В интернете уже есть гайд по установке. И не один. Да хоть на том же YouTube.
Будем учиться редактировать на примере вот этой картинки:
Автор - Chaesu
Первым делом открываем фотошоп. Да, прежде чем загружать изображение в SD, его нужно подготовить. Проблема тут такая: SD 1.5 модели не могут нормально работать с изображениями больше 800 пикселей. Поэтому, выделяем в фотошопе вот такую область размером 600x900:
Не снимайте выделение сразу, оно ещё пригодится
Выделение есть, теперь Ctrl+C и вставляем скопированный кусок во вкладку txt2img в окошко ControlNet'а (в первые три, то есть вставляем три раза):
Вы ведь не забыли увеличить количество юнитов контролнета в настройках?
Теперь настраиваем сами юниты контролнета:
Unit 0:
Первый юнит будет отвечать за перенос стиля
Unit 1:
Второй отвечает за редактирование с сохранением контекста
Unit 2:
Ну и третий юнит для контроля генерации
После этого нажимайте на кнопку предпросмотра:
И скачивайте получившийся "негатив"
Можно поиграться с другими препроцессорами, но lineart_realistic обычно выдаёт лучший результат
Смело открываем его в фотошопе (в новой вкладке, старую пока не трогаем) и начинаем редактировать. Надо лишь убрать всё лишнее и обозначить контур того, что хотим получить. Вот как-то так:
Контролирующий лайн готов. Теперь очищаем ControlNet Lineart и вставляем наш "линейный рисунок". Так как на вход теперь на вход контролнету сам лайн, то нам не нужен препроцессор - ставим его на none.
Это всё ещё Unit 2
Осталось только нарисовать маску inpaint'а. Переходим в ControlNet Inpaint (Unit 1) и прямо тут в веб-интерфейсе закрашиваем те части, которые хотим перерисовать:
Про тень от одежды не забудьте
Осталось лишь написать промпт (и негативный промпт), выбрать параметры генерации (размер 600x900 не забывайте) и нажимать Generate до тех пор, пока не увидите приемлемый результат.
Например:
Главное что стиль далеко не уехал
Это изображение неплохо бы отправить в img2img inpaint, чтобы поправить мелкие недоработки, но сейчас просто копируем его в буфер, возвращаемся в фотошоп и вставляем в нужное место (выделение пригодилось).
Сидит как влитая
Исправляется тем же образом:
Приемлемо
По тому же принципу делаем остальных
Видите недоработки? Исправить их - это ваше домашнее задание
А вот параметры генерации:
(best quality, masterpiece:1.2), 1girl, short hair, (white bikini:1.1), standing, cowboy shot, white background, contrapposto,
Negative prompt: (worst quality, low quality, normal quality:1.3)
Steps: 28, Sampler: DPM++ 2M SDE Karras, CFG scale: 6, Seed: 2598121264, Size: 600x900, Model hash: 3867bda67e, Model: kizukiAlternative_v10, VAE hash: 2125bad8d3, VAE: kl-f8-anime2.ckpt, Clip skip: 2,
ControlNet 0: "Module: reference_only, Model: None, Weight: 0.95, Resize Mode: Crop and Resize, Low Vram: False, Threshold A: 0.5, Guidance Start: 0.22, Guidance End: 1, Pixel Perfect: False, Control Mode: ControlNet is more important, Hr Option: Both, Save Detected Map: True",
ControlNet 1: "Module: inpaint_only+lama, Model: controlnet11Models_inpaint [be8bc0ed], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: My prompt is more important, Hr Option: Both, Save Detected Map: True",
ControlNet 2: "Module: none, Model: controlnet11Models_lineart [5c23b17d], Weight: 0.8, Resize Mode: Crop and Resize, Low Vram: False, Guidance Start: 0, Guidance End: 0.8, Pixel Perfect: False, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Version: v1.7.0
Модель для генерации логично выбирать близкую по стилю. Для не слишком реалистичных рисунков Kizuki Alternative почти идеальна.
Несколько советов:
- Уменьшайте исходное изображение заранее, облегчайте нейросети работу.
- Можно обойтись из без Lineart'а, и тогда сетка додумает форму самостоятельно.
- Если какие-то части получились хорошо, а какие-то нет, то просто перенесите результат во вкладки Reference и Inpaint и работайте уже с ним.
- Если исходное изображение слишком тёмное либо светлое, то модель сама по себе может не справиться и имеет смысл подключать затемняющую или осветляющую мини-модель (лору).
Stable diffusion нейронные сети сделал сам песочница
Моя попытка в тренировку LoRA №2
В общем, я был приятно удивлен, что мой предыдущий пост зашел уважаемым содомитам, посему решил сделать еще один. Не знаю, дело в интересе к нейросетям или к Оглафу, но сейчас можно будет как раз проверить.Итак, позвольте представить вашему вниманию LoRA обученную на работах венецианского живописца эпохи Возрождения - Тициано Вачеллио.
https://civitai.com/models/478707/titian-vecellio-style?modelVersionId=532368
Как и в прошлый раз, я не смог достичь уровня самоудовлетворения, но не пропадать же добру. LoRA тренировалась на модели Pony, а эта модель не очень подходит тому, что не является r34, картинками, но мне было интересно попробовать. В принципе, вышло лучше, чем я ожидал, но хуже чем могло быть.
Отличный комментарий!