Небольшой эксперимент с воссозданием персонажа
Короче, идея-то какая была? Мы знаем, что есть возможность попытаться перенести стиль любого изображения на генерацию txt2img. Однако, воссоздать изображенного персонажа с рисунка-референса достаточно точно не выйдет. Тут на помощь как бы приходит лора (мини-модель, "натасканная" на конкретного персонажа, стиль, концепт, и т.п.). Вот только лора довольно таки часто ломает тонкие детали и вообще отрывает персонажа от "родного" стиля (я слышал, что правильно натренированный LyCORIS с этим лучше справляется, но пока не проверял). Решение, как всегда бывает, получилось костыльным: одновременно задействовать и лору и контролнет переноса стиля, но при этом отложить их запуск (а в случае контролнет ещё и вырубить их на 80% генерации). Для чего так? А дело в том, что контролнет reference довольно часто ломает цвета в самом начале генерации, так что первые 25% шагов надо дать модели поработать "чисто". Лору персонажа же, как не странно, можно отрубать даже на 50% - она не нужна во время полировки деталей, а может и вредна.
Вот оригинальное изображение-референс.
Параметры генерации (для третьей слева):
[<lora:aa_cykes:0.8>, athena cykes::0.5], 1girl, (concept art, character sheet:1.1), (best quality, masterpiece:1.2)
Negative prompt: EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4), (painting of bad artist:1.2)
Steps: 40, Sampler: Euler a, CFG scale: 6, Seed: 1735015463, Size: 512x768, Model hash: 1bab7a0895, Model: kizukiAnimeHentai_animeHentaiV3, Denoising strength: 0.36, Clip skip: 2, ENSD: 31337,
ControlNet 0: "preprocessor: reference_only, model: None, weight: 1, starting/ending: (0.25, 0.8), resize mode: Just Resize, pixel perfect: False, control mode: ControlNet is more important, preprocessor params: (64, 0.5, 64)",
ControlNet 1: "preprocessor: t2ia_style_clipvision, model: controlnetT2IAdapter_t2iAdapterStyle [892c9244], weight: 0.9, starting/ending: (0.25, 0.8), resize mode: Crop and Resize, pixel perfect: False, control mode: ControlNet is more important, preprocessor params: (512, 64, 64)",
Hires upscale: 2, Hires upscaler: 4x-AnimeSharp, Lora hashes: "aa_cykes: 46197f092432", TI hashes: "EasyNegative: 66a7279a88dd, badhandv5: aa7651be154c", Version: v1.5.1
Ну и ещё один пример:
Без переноса стиля, с переносом стиля
nsfw, best quality, good hands, high quality, shaded, nice eyes, by darkgem, by sindenbock, by taran fiddler, sketch, stylized, painted, by burnbuckie, by nezumi, by sindoll, lineart( gynomorph milf canine wolf mature female, wide body, small head:1.2), big breasts,
(chest tuft, hips tufts, torso tuft, leg tufts, small feet:1.4)
navel, muscular thighs, navel tuft, large nipples, seductive, sexy pose, sexy,
crotch tuft, groin, bottomless, (yellow orange fur, fox, bare neck:1.3), two tone body, seductive pose, claws, stylized hands, , full body, ( front shot, reference sheet, reference, character reference, back shot, full body:2.0), nude, small head, thigh gap,
Negative prompt: boring_e621, low quality, worst quality, fat, muscular, wings, amputee, disfigured, multi limb, fusing, EasyNegative, penis, pink penis,, (worst quality, low quality, monochrome, border, signature, patreon logo:1.4), boring_e621, EasyNegative, bad hands, disembodied, amputee, multi limb, multi penis, human penis, two tails, uncut penis, broken hand, broken fingers, blush, small penis, bedroom eyes, tricolor fur. multicolor fur, double anus, clothing, text, mane, neck fur
Steps: 150, Sampler: Euler a, CFG scale: 3, Seed: 1617551268, Size: 512x768, Model hash: 4544ff74c1, Model: indigonutsfurrymix_v25, Pad conds: True, Version: v1.7.0