Результаты поиска по запросу "нейросеть настройка"
GPT-4 представят на следующей неделе. Она будет мультимодальной
Ну вот и все.
Stable Diffusion начала синтезировать музыку
В рамках проекта Riffusion разработчики развивают вариант системы машинного обучения Stable Diffusion для генерации музыки вместо изображений. Мелодии можно создавать как на основе предложенного шаблона, так и с помощью текстового описания на естественном языке.
Компоненты для синтеза музыки написали на языке Python с использованием фреймворка PyTorch. Связь с интерфейсом реализовали на языке TypeScript. Компоненты доступны под лицензией MIT.
Сама модель открыта под лицензией Creative ML OpenRAIL-M, допускающей использование в коммерческих целях.
Обновлённая модель использует для генерации музыки модели «из текста в изображение» и «из изображения в изображение», но в качестве изображений выступают спектрограммы. Они отражают изменение частоты и амплитуды звуковой волны во времени. Система на выходе формирует новую спектрограмму, которая затем преобразуется в звуковое представление.
Проект Riffusion также может использовать для изменения имеющихся композиций и синтеза музыки по образцу. Этот процесс работает по аналогии с модификацией изображений в Stable Diffusion. Так, при генерации могут задаваться образцы спектрограмм с эталонным стилем, комбинироваться разные стили, выполняться плавный переход от одного стиля к другому или вноситься изменения в существующий звук для увеличения громкости отдельных инструментов, изменение ритма и т.д.
Образцы можно использовать для генерации длительно играющих композиций, создаваемых из серии близких друг к другу отрывков, немного меняющихся во времени. Они объединяются в непрерывный поток при помощи интерполяции внутренних параметров модели.
Для создания спектрограммы используется оконное преобразование Фурье. Чтобы решить проблему с определением фазы, задействован алгоритм аппроксимации Гриффина-Лима.
В ноябре Stability AI сообщила о выпуске новой версии модели Stable Diffusion 2.0. В ней улучшили качество и повысили вариативность получаемых изображений.
OpenAI представила GPT-4
Почитать о ней и встать в очередь можно по ссылке: https://openai.com/research/gpt-4
Она уже прошла кучу экзаменов. Некоторые на 90+ процентиль
А еще она умеет объяснять мемы:
Стрим с разработчиками через пару часов
Как перерисовать/раздеть любого персонажа с помощью Stable Diffusion
Сегодня я расскажу о способе дорисовывать любые рисунки с помощью инструментов Stable Diffusion. Но прежде чем я начну, убедитесь что у вас установлена свежая версия Stable Diffusion webui от Automatic1111 + расширение ControlNet 1.1 со всеми нужными моделями.
Вот видео-инструкции (смотреть по порядку):
Установили? Тогда начинаем.
Часть 1. ControlNet Inpaint
Ни для кого не секрет, что в SD существует фича под названием inpaint - это, по сути, способ сгенерировать что-то поверх существующего изображения. В интерфейсе от Automatic1111 под inpaint'ом обычно подразумевают один из режимов img2img. Это хоть и мощный инструмент, но, всё же, недостаточно точный и контролируемый. Тут на помощь приходит ControlNet Inpaint и исправляет главный недостаток "классического" inpaint'а - игнорирование контекста. Впрочем, достаточно теории переходим к практике.
Итак, возьмём изображение, которое мы хотим отредактировать.
И сразу же уменьшаем/увеличиваем его до нужного разрешения:
В моём случае с 1500x1500 до 640x640. По опыту скажу, что лучший результат получается при размере меньшей стороны от 512 до 768 пикселей, а большая сторона при этом желательно меньше 1024 пикселей.
Теперь открываем вкладку txt2img в web-gui, раскрываем ControlNet и переносим изображение на холст Unit 0, выбираем режим Inpaint и выставляем все нужные настройки (и включить не забудьте):В моём случае с 1500x1500 до 640x640. По опыту скажу, что лучший результат получается при размере меньшей стороны от 512 до 768 пикселей, а большая сторона при этом желательно меньше 1024 пикселей.
Теперь замазываем места, которые хотим перерисовать:
![ControlNet Unit 0
ControlNet Unit 1
ControlNet Unit 2
ControlNet Unit3
Single Image
Set the preprocessor to (invert] If your image has white background and black lines.
D s * -*
Q Enable Low VRAM Pixel Perfect CD Allow Preview
Control Type
All Canny Depth Normal OpenPose MLSD Lineart](https://img2.joyreactor.cc/pics/post/full/нейронные-сети-гайд-туториал-8052157.png "нейронные сети,гайд,туториал,StableDiffusion,песочница")
1girl, naked, completely nude, (best quality, masterpiece:1.2)
Негативный промпт как обычно:
EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4)
EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4)
Модель подбираем поближе к стилю рисунка (реалистичный/стилизованный). В моё случае это MeinaMix_v11-inpaint.
Параметры генерации:
Всё, можно нажимать Generate до тех пор пока не появится приемлемая картинка.
Столь хороший результат обеспечивается препроцессором inpaint_only+lama - он пытается дорисовать зону под маской с учётом "наружного контекста". Это же и обеспечивает генерацию правильного цвета.
Простой случай разобрали, переходим к чему-то посложнее:
Часть 2. Style transfer
Возьмём теперь другой рисунок попробуем повторить описанный выше процесс:
Мда, мало того, что поза поехала, так ещё и стиль оказался потерян. Одного ControlNet Inpaint тут недостаточно. Надо подключать дополнительные юниты.
Нам нужно решить 2 задачи:
Повторить существующий стиль рисункаСохранить силуэтДля решения первой задачи будем использовать ControlNet reference и ControlNet T2IA - они оба позволяют копировать стиль с изображения-референса и как нельзя лучше работают в связке.
Возвращаемся к интерфейсу ControlNet'a. Копируем исходное изображение в Unit 1 и Unit 2. Настраиваем вот так:
А в качестве четвёртого ControlNet'a можно использовать любой, что позволяет сохранить форму: canny, depth, softedge, lineart - на ваше усмотрение и под конкретную задачу.
Интересный факт: никто не запрещает отредактировать выход предпроцессора в фотошопе. Что-то убрать, что-то подрисовать. Вот где могут понадобиться навыки рисования.
Ладно, всё 4 юнита активны. Нажимаем Generate и:
Это совсем не то, нужно!
Формы сохранены, но промпт будто проигнорирован. Что случилось? Я вам скажу что: сила ControlNet'а оказалась слишком велика. Stable Diffusion попытался во время генерации воссоздать рисунок-референс да ещё и плюс inpaint там подсунул белый цвет с фона!
Формы сохранены, но промпт будто проигнорирован. Что случилось? Я вам скажу что: сила ControlNet'а оказалась слишком велика. Stable Diffusion попытался во время генерации воссоздать рисунок-референс да ещё и плюс inpaint там подсунул белый цвет с фона!
Как с этим бороться? Нужно уменьшить эффект двух юнитов переноса стиля (reference и T2IA), но при этом нельзя сильно уменьшать их силу, иначе перенос стиля будет ослаблен. В общем, нужно воспользоваться настройкой Starting Control Step. Она отвечает за то, на какую долю шагов генерации придётся действие ControlNet'a.
Starting Control Step 0.5, например, означает, что первую половину шагов генерация будет опираться только на промпт, а со второй половины подключится уже наш ControlNet.
В общем, план такой: слегка понижаем Control Weight (сила) у стилевых юнитов (примерно до 0.9). После этого начинаем постепенно поднимать границу начала действия стилевых юнитов. Также имеет смысл подобным же образом немного ослабить действие Inpaint'a - позволяет в некоторых случаях исправить цвета.
После нескольких попыток (и усиление промпта) получаем вот такую задницу:
Не идеально, но уже шаг в нужном направлении. На самом деле, сейчас можно (и нужно) уже именно это изображение сделать референсом. Другими словами, скопировать его во все 4 юнита и отталкиваться уже от него. И так сколько нужно раз. Пока не получится идеальный результат, либо ваша генерация окончательно не развалится.
Часть 3. img2img
Даже после получения хорошей генерации во вкладке txt2img имеет смысл несколько отшлифовать изображение уже через img2img inpaint. Главное не забудьте подключить 2 ControlNet'a для переноса стиля. Помните да, reference и T2IA.
Некоторые пункты в виде итога:
Ключ ко всему - это ControlNet (inpaint_only+lama) и ControlNet (reference_only, T2IA)Генерацию лучше проводить поэтапно, чтобы было на что опереться в последующие шаги
Также имеет смысл разделять генерацию объектов нужной формы и затем покраску их в нужные цвета.
Подбирайте подходящие под задачу модели и/или лоры.
Не забудьте про параметры Control Weight, Starting Control Step, Ending Control Step. И про Control Mode в самом низу!
P.S. Хотел бы я чтобы кто-то обстоятельно протестировал этот метод и поделился бы потом результатами. Мне кажется, как-то можно добиться ещё большей близости к стилю оригинала, ведь задача состояла именно в этом.
Туториал закончен, теперь впечатления. Это охиренно мощная штука! Можно как угодно дорисовать любую картину, стиль вообще не важен, тем более что сейчас уже натренированы сотни моделей на все случаи жизни. Хоть скриншоты из мультфильмов/аниме, хоть картины маслом. Фильмы и фотографии вообще пройденный этап. Можно даже без использования inpaint'a просто сгенерировать сколько хочешь изображений с нуля, просто опираясь на единственный рисунок. А ведь ControlNet появился лишь в начале этого года. Короче, уже почти год прошёл, а всё это до сих пор кажется каким-то колдунством. Что грядущий день готовит...
На реддите разгорелся срач из за нейронок и ЦП
Изначально новость вышла arstechnica.com, аналитическое интернет-издание на английском языке, посвящённое информационным технологиям. В которой утверждалось следующие:
«Как генеральные прокуроры наших штатов и территорий, мы глубоко и серьёзно обеспокоены безопасностью детей, находящихся под нашей юрисдикцией», — говорится в письме. «И хотя интернет-преступления против детей уже активно расследуются, мы обеспокоены тем, что ИИ создает новые границы для злоупотреблений, что затрудняет такое преследование».
В частности, технологии синтеза изображений с открытым исходным кодом, такие как Stable Diffusion, позволяют с легкостью создавать порнографию, генерируемую искусственным интеллектом, а вокруг инструментов и дополнений, расширяющих эту возможность, сформировалось большое сообщество . Поскольку эти модели ИИ общедоступны и часто используются локально, иногда нет никаких препятствий, мешающих кому-либо создавать сексуализированные изображения детей, и это вызвало тревогу у ведущих прокуроров страны. (Следует отметить, что Midjourney, DALL-E и Adobe Firefly имеют встроенные фильтры, запрещающие создание порнографического контента.)
«Создавать эти изображения стало проще, чем когда-либо, — говорится в письме, — поскольку каждый может загрузить инструменты ИИ на свой компьютер и создавать изображения, просто введя краткое описание того, что пользователь хочет видеть. И поскольку многие из этих инструментов ИИ имеют «открытый исходный код», инструменты можно запускать неограниченно и без контроля».
На самом же реддите пользователи типично разделились на два лагеря. Первые утверждали что нейросети это зло, и их нужно запретить или ограничить доступ к ним. Другие же утверждали что нейросети это не более чем инструмент, и виновата не техногия, а кто и как eё использует. Примерно после 5 часов прибывания стати модераторы закрыли комменты и начали тереть комментарии.На момент написания этой стати у стати на реддите было 11к up.
На самом же реддите пользователи типично разделились на два лагеря. Первые утверждали что нейросети это зло, и их нужно запретить или ограничить доступ к ним. Другие же утверждали что нейросети это не более чем инструмент, и виновата не техногия, а кто и как eё использует. Примерно после 5 часов прибывания стати модераторы закрыли комменты и начали тереть комментарии.На момент написания этой стати у стати на реддите было 11к up.
Здесь мы собираем самые интересные картинки, арты, комиксы, мемасики по теме нейросеть настройка (+1000 постов - нейросеть настройка)
Отличный комментарий!