Color cutoff stable diffusion extension
Расширение, устанавливаемое на WebUI от Automatic1111, позволяющее жёстко привязать запрашиваемый цвет к указанному в промпте объекту. Наверняка замечали, что при запросе различных цветов для различных деталей нейросетка часто рисует указанные цвета где попало на изображении. Вот,например [a cute girl, white shirt with green tie, red shoes, blue hair, yellow eyes, pink skirt]
Волосы внезапно стали розовыми,несмотря на прямое указание их голубого цвета в промпте. А вот результат после подключения данного модуля (все прочие настройки, включая seed остались без изменения):
Нейросеть даже более бережно отнеслась к запросу, вставив таки туфли.Инструкция для установки и использования по шагам:
1. Запускаем нейросеть, открываем вкладку [Extensions] и подвкладку [Install from URL]. Туда вводим "https://github.com/hnmr293/sd-webui-cutoff" без кавычек. Жмём [Install], перезапускаем нейросеть (закрыть консоль и запустить заново).
2. Во вкладке новых text2image генераций вводим свой промпт, например [a cute girl, white shirt with green tie, red shoes, blue hair, yellow eyes, pink skirt] и прочие настройки, что вам нравятся.
3. Обращаем внимание, что после установки и перезапуска внизу вкладки text2image появилось дополнительное ниспадающее меню. Разворачиваем его, чекаем бокс [Enabled] и вводим цвета объектов, указанных в промпте, разделяя их запятыми. В примере выше это [white, green, red, blue, yellow, pink,]. Не забываем запятую после последнего токена, автор указывает, что она важна и без неё могут быть ошибки. Вес (weight) выкручиваем на максимум (2). Прочие детали пока не трогаем, поиграться с ними можно позднее, сам ещё не до конца разобрался.
4. Жмём волшебную кнопку генерации и наблюдаем результат.
ВАЖНО: дополнение создано преимущественно для анимешных моделей на базе SD 1.5. При попытке работать с ним на весах (моделях, чекпоинтах) на базе SD 2.0 и 2.1 результаты были менее впечатляющими.
Вот ещё пара картинок для сравнения. Слева картинка до включения дополнения, справа - с его использованием. Простите за кривую вёрстку, я рукожоп. Создано на Anything 3.0
Tips от автора дополнения с моим вольным переводом:#0 Give priority to colors, put them first and then everything else, 1girl, masterpiece... but without going overboard, remember tip #3.
Ставьте цвет в приоритете, помещайте его перед всем прочим, но не переборщите, помните про третий совет.
#1 The last Token of Target Token must have "," like this: [white, green, red, blue, yellow, pink,]
ATTENTION: For some people it works to put a comma at the end of the token, for others this gives an error. If you see that it has an error, delete it.После последнего токена в поле Target Token должна стоять запятая, как в примере: [white, green, red, blue, yellow, pink,]ВНИМАНИЕ: у некоторых работает нормально при помещении запятой в конец токена, а у некоторых выдаёт ошибку. Если у вас выскочила ошибка - удалите запятую.
#2 The color should always come before the clothes. Not knowing much English happened to me that I put the colors after the clothes or the eyes and the changes were not applied to me.
Описание цвета нужно ставить перед объектов в промпте. Не зная английского, я указывал цвет после упоминания одежды/глаз и изменения не применялись.
#3 Do not go over 75 token. It is a problem if they go to 150 or 200 tokens.
Не напихивайте больше 75 токенов (деталей промпта, разделённых запятыми). Большое количество токенов для дополнения сложновато.
#4 If you don't put any negative prompt, it can give an error.
Если не вводить негативный промпт, то может выскочить ошибка.
Ещё автор пишет, что эффективность дополнения 95%, однако, лично у меня результаты менее впечатляющие. Вероятно, это связано с тем, что автор предпочитает какую-то конкретную модель.