Небольшой эксперимент с воссозданием персонажа
Короче, идея-то какая была? Мы знаем, что есть возможность попытаться перенести стиль любого изображения на генерацию txt2img. Однако, воссоздать изображенного персонажа с рисунка-референса достаточно точно не выйдет. Тут на помощь как бы приходит лора (мини-модель, "натасканная" на конкретного персонажа, стиль, концепт, и т.п.). Вот только лора довольно таки часто ломает тонкие детали и вообще отрывает персонажа от "родного" стиля (я слышал, что правильно натренированный LyCORIS с этим лучше справляется, но пока не проверял). Решение, как всегда бывает, получилось костыльным: одновременно задействовать и лору и контролнет переноса стиля, но при этом отложить их запуск (а в случае контролнет ещё и вырубить их на 80% генерации). Для чего так? А дело в том, что контролнет reference довольно часто ломает цвета в самом начале генерации, так что первые 25% шагов надо дать модели поработать "чисто". Лору персонажа же, как не странно, можно отрубать даже на 50% - она не нужна во время полировки деталей, а может и вредна.
Вот оригинальное изображение-референс.
Параметры генерации (для третьей слева):
[<lora:aa_cykes:0.8>, athena cykes::0.5], 1girl, (concept art, character sheet:1.1), (best quality, masterpiece:1.2)
Negative prompt: EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4), (painting of bad artist:1.2)
Steps: 40, Sampler: Euler a, CFG scale: 6, Seed: 1735015463, Size: 512x768, Model hash: 1bab7a0895, Model: kizukiAnimeHentai_animeHentaiV3, Denoising strength: 0.36, Clip skip: 2, ENSD: 31337,
ControlNet 0: "preprocessor: reference_only, model: None, weight: 1, starting/ending: (0.25, 0.8), resize mode: Just Resize, pixel perfect: False, control mode: ControlNet is more important, preprocessor params: (64, 0.5, 64)",
ControlNet 1: "preprocessor: t2ia_style_clipvision, model: controlnetT2IAdapter_t2iAdapterStyle [892c9244], weight: 0.9, starting/ending: (0.25, 0.8), resize mode: Crop and Resize, pixel perfect: False, control mode: ControlNet is more important, preprocessor params: (512, 64, 64)",
Hires upscale: 2, Hires upscaler: 4x-AnimeSharp, Lora hashes: "aa_cykes: 46197f092432", TI hashes: "EasyNegative: 66a7279a88dd, badhandv5: aa7651be154c", Version: v1.5.1
Ну и ещё один пример:
Без переноса стиля, с переносом стиля
![Master skywalker. There are too many of them, what are we going to do?
1. [Help the younglings escape.]
2. [Give the younglings 500 credits.]
3. [Kill them all.],star wars,фэндомы,KotOR,SW игры](https://img2.joyreactor.cc/pics/post/star-wars-фэндомы-KotOR-7621728.jpeg "star wars,фэндомы,KotOR,SW игры")
![Pure model
LoRA [::0.9]
LoRA [::0.9]
+ ControlNet (reference_only + T2IA)(0.25-0.8) ControlNet (reference_only + T2IA)(0.25-0.8),нейронные сети,Нейросетевые Барышни,арт барышня,арт девушка, art барышня, art girl,art,арт,нагенерил сам,Stable diffusion](https://img10.joyreactor.cc/pics/post/full/нейронные-сети-Нейросетевые-Барышни-арт-барышня-8059555.png "нейронные сети,Нейросетевые Барышни,арт барышня,арт девушка, art барышня, art girl,art,арт,нагенерил сам,Stable diffusion")
Отличный комментарий!