on line обучение английскому

Zaila Avant-garde

Так зовут девочку 14-ти лет, победившую в Scripps National Spelling Bee - общенациональном конкурсе в США по знанию английского языка. Впервые с начала проведения этого конкурса (1925 год) в нём победил афроамериканец.

Примеры слов из финала - fidibus, haltere, consertal, depreter, athanor, thanatophidia, duchesse, psychagogic, regolith, cloxacillin, ancistroid

сурс

Инструкция: Как запустить нейросеть меняющий лица актрис на видео.

"Если у вас windows 10 64x, 16gb ОЗУ, 1050ti, i7 7700. То запустится 100% без проблем.

*Для начала скачиваем и устанавливаем CUDA 8.0

https://developer.nvidia.com/cuda-80-ga2-download-archive

Установка стандартная, после перезагружаем. Патчить ничего не надо.

*Скачиваем саму программу:

https://drive.google.com/file/d/1_D6JIZsv4JdIqydhfpXCP63HzlvnqCt6/view

*Скачиваем ffmpeg

https://ffmpeg.zeranoe.com/builds/

*ВАЖНО! ПОВТОРЯЕМ В ТОЧЬ ТОЧЬ!!!

Распаковываем FakeApp.zip в корень диск С. А так-же в корне диска С создаем папку fakes, внутри создаем папки data, data_A, data_B.

ffmpeg, распаковываем в папку FakeApp.

Получаем такую картину:

*Этап подготовки видео.

Скачиваем любое видео например с Хлое Морец и теперь нужно на любом видеоредакторе нарезать участки видео с её лицом и склеить в один видеофайл.

Сохраняем нарезанное видео в качестве 720p в папку C:\fakes\data_A называем её 1.mp4

Запускаем командную строку,пишем:

C:\FakeApp\ffmpeg\bin\ffmpeg.exe -i C:\fakes\data_A\1.mp4 -vf fps=25 "C:\fakes\data_A\out%d.png"

В папке C:\fakes\data_A видим как появляются картинки, ждем завершения процесса.

Запускаем fakeapp.bat в папке C:\FakeApp

Выбираем Align, поле Data указываем C:\fakes\data_A

Жмем Start. ЖДЕМ ПОЛНОГО ЗАВЕРШЕНИЯ!

В папке C:\fakes\data_A появится папка aligned где все упорядочены её лица.

*ЭТАП НОМЕР ДВА

Находим видео для друга и повторяем весь процесс, только вместо data_A указываем data_B.

Главное видео для друга должно быть одно лицо, если лиц в кадре несколько, программа будет менять их все.

После того как в папке data_A и data_B появилась папка aligned с упорядоченными лицами переходим к тренировке. Этот процесс жопаболь, ибо уходит очень много времени для тренировки нейросети.

Переходим на вкладку Train

В поле Data A указываем путь  C:\fakes\data_A\aligned

В поле Data B указываем путь C:\fakes\data_B\aligned

Жмем Start и ждем. Ждем. Ждеееееем. Наблюдаем как постепенно нейросеть учится и качество фото улучшается.

Если надоело ждать или качество вас устраивает, нажимаем клавишу Q, программа сохранит "весы" связей и можно будет в дальнейшем продолжить расчеты, ничего не теряется.

Результат работы за 4 часа обучения:

Лицо выглядит пока что вот так:

Что радует, лицо идеально стыкуется с этой актрисой. Главное терпение!

Сшиваем готовое видео

Склеивать готовое видео не долго, по времени уходит максимум 1 час. 

Отключаем обучение нажав на клавишу Q, переходим во вкладку Merge.

В пункте Data указываем C:\fakes\data_B\aligned

В пункте Direction указываем BtoA ( что на что меняем)

Нажимаем Start. В папке C:\fakes\data_B появится папка merged с изображениями где лица заменены. Теперь нужно картинки превратить в видеозапись. Есть два способа

*Способ 1й

Пример команды:

ffmpeg -i папка/название_секвенции_%05d.jpg -r [FPS, например 25] -c:v libx264 -q:v 2 output.mp4

Склеит секвенцию из папки "папка" с кадрами названия "название_секвенции_00001.jpg", т.е с пятью цифрами. Если хочется добавить звуковую дорожку, то следует дописать вот так:

ffmpeg -i папка/название_секвенции_%05d.jpg -i название_дорожки.wav -r [FPS, например 25] -c:v libx264 -q:v 2 output.mp4

Расширение картинок может быть любым, а не только jpg, тоже самое со звуком.

Вытащить дорожу из видео можно с помощью того же ffmpeg'a

ffmpeg -i название_видео.mp4 -b:a 320k выходная_дорожка.mp3

Получим mp3шку с 320к битрейтом

*Способ 2й.

Запускаем Adobe After Effects.

Файл - Импорт - Файл...

Переходим в папку C:\fakes\data_B\merged

Выделяем все фотки из папки merged. Ставим галку "Эпизод PNG"

Жмем Импорт.

В раскадровке появится видео. Накладываем звук, экспортируем, все готово.

Если в merge вылазит ошибка. Проверьте, не удалили файл alignments.json? Вот так должна выглядеть папка C:\fakes\data_B :

Примечание:

Форма черепа и лица должна быть максимально похожей. Без очков.

Можно сшивать мужские лица, главное следить за растительностью на лице, иначе сильно выделяется. "

"Google" создала ИИ, который генерирует сложную музыку по текстовым описаниям

"Google" представила систему искусственного интеллекта "MusicLM", которая способна генерировать музыку в любом жанре по текстовому описанию. Однако компания пока не будет открывать доступ к нейросети.

Альтернативы новому ИИ, к примеру, "Riffusion", из-за технических ограничений и относительно небольшого набора данных для обучения не способны создавать сложные композиции.

Однако "MusicLM" обучали на наборе данных из 280 тысяч часов музыки, чтобы научить генерировать песни «значительной сложности» (например, "очаровательный джаз" или "берлинское техно 90-х").

"Twitter".

Нейросеть способна уловить такие нюансы описания, как инструментальные риффы, мелодии и настроение. Например, "MusicLM" может сгенерировать мелодию, которая должна вызвать "ощущение пребывания в космосе" или "основной саундтрек аркадной игры".

Исследователи "Google" пояснили, что система может основываться на существующих мелодиях, будь то напевание, пение, насвистывание или игра на инструменте. Более того, "MusicLM" может взять несколько последовательно написанных описаний (например, "время медитировать", "время просыпаться", "время бежать", "время выложиться на 100%"), чтобы создать своего рода мелодическую "историю" продолжительностью до нескольких минут наподобие саундтрека для фильма.

"MusicLM" также можно инструктировать с помощью комбинации изображения и подписи или генерировать звук, который "играет" инструмент определённого типа в определённом жанре. Можно установить даже уровень опыта "музыканта".

Тем не менее, некоторые мелодии имеют искажения как неизбежный побочный эффект тренировочного процесса. Технически "MusicLM" может генерировать вокал, включая хоровые гармонии, но пока они оставляют желать лучшего. Большая часть "текстов" песен варьируется от подобия английского до набора звуков, которые исполняют синтезированные голоса.

Исследователи "Google" отмечают и множество этических проблем, связанных с "MusicLM", включая нарушение авторского права. Во время эксперимента они обнаружили, что около 1% музыки, сгенерированной системой, был просто отрывками из песен, на которых она обучалась.

Между тем модель "Riffusion" открыта под лицензией "Creative ML OpenRAIL-M", допускающей использование в коммерческих целях. Она работает по аналогии с модификацией изображений в "Stable Diffusion". Так, при генерации могут задаваться образцы спектрограмм с эталонным стилем, комбинироваться разные стили, выполняться плавный переход от одного стиля к другому или вноситься изменения в существующий звук для увеличения громкости отдельных инструментов, изменение ритма и т.д.

Свой перевод Let It Go

Модель NovelAI под Stable-Diffusion

Там недавно слили исходники NovelAI, на сколько знаю сервис генерит истории по описанию, что то вроде AI Dungeon. Но с 3 октября у них появилась фича генерить и изображения по описанию. Собственно слили и её.

Автор репозитория одной из сборок, AUTOMATIC1111 добавил в свою сборку поддержку работы новых слитых моделей ,его кстати забанили в офф. дискорде Stable Diffusion после произошедшего.

Если хотим поиграться с новой моделью, а выдаёт она довольно неплохие результаты, то нам нужно:

1. Установить сборку Stable Diffusion от AUTOMATIC1111 - https://github.com/AUTOMATIC1111/stable-diffusion-webui

2. Качаем модель (у них есть NSFW и SFW версии) и некоторые ещё необходимые вещи из слитых материалов - magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc&dn=novelaileak

3. Переименуйте model.ckpt, что лежит внутри animefull-final-pruned в любоеназвание.ckpt. например в novelai.ckpt, теперь переименуем animevae.pt в название которое мы дали предыдущему файлу и добавляем к нему .vae.pt к примеру в novelai.vae.pt... Теперь заходим директорию \stable-diffusion-webui\, заходим в папку models и создаём там папку с именем hypernetworks и кидаем в неё файлы aini.pt, anime.pt, anime_2.pt и т.д из папки modules, что мы скачивали. Теперь в папку \models\Stable-diffusion\ с основными моделями что мы используем, переносим ранее переименованый файл novelai.ckpt и файл novelai.vae.pt

4. Запускаем Stable Diffusion и переходим в настройки, ищем раздел "Stable Diffusion" и включаем нужную модель и finetune hypernetwork

NovelAI использует CFG:11 и негативные промты: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, поэтому если хотите результаты похожие на те, что генерит оригинальная, то используйте эти параметры.

В некоторых промптах взятых напрямую из NovelAI может встречаться синтаксис {}. Он предназначен только для официального сервиса NovelAI. Так же усиливает акцент, как и (), но акцентирование увеличивается только в 1,05 раза вместо 1.1 с (). Поэтому если прям точь в точь повторить результат с понравившегося промпта, что увидели в интернетиках, то используем (слово:1.05) или видим {{}}, то используем (слово:1.1025)... А лучше почитайте https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features для понимания всяких тонких фишек.

Ну надеюсь всё правильно описал расписал. Если есть вопросы спрашивайте, если они в рамках понимания моего разума, то отвечу. Ниже приложу пару примеров изображений и промптов к ним, которые способна выдать модель. К слову через эту модель лучше генерить всякие анимешные арты ибо они там получаются лучше всего.

Мои:

((masterpiece)), painting of a ((Mandalorian)) bounty hunter, Star wars, Tatooine, space, stars, art by John J. Park
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3998559443, Size: 512x704, Model hash: 925997e9

((masterpiece)), girl,red dress,short hair,summer, twintails, black hair,
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3013799092, Size: 512x704, Model hash: 925997e9

copic, thick outlines, {{mohawk, shaved sides}}, 1girl, {vibrant}, deep shadows, deep space, {{80s, scifi, movie poster}}, skin tight spacesuit, jumpsuit, {power armor}, {{small breasts}}, closeup, detailed eyes, torso, headshot

{{BEST QUALITY}}, {{MASTERPIECE}}, {{HIGH RES}}, {{CINEMATIC LIGHTING}}, {{DETAILED}}, {{TELEPHOTO LENS}}, beautiful hd background, high detailed background, {realistic shadows}, HD shadows, {{{midjourney}}}, tarte (hodarake), Anor Lando, avataart, Andy Livy, by dark album, god teir background art, realistic, realistic portrait, masterpiece portrait, {{{{{{MASTERPIECE}}}}}}, sharp, photo realistic, background focus, {{{{{background only}}}}}, futuristic city, future, advanced technology, neon lights, holograms, flying ships, buildings metalic silver , advanced civilization, year 5096 , science fiction, sci-fi, futuristic dome, matrix

{white hair}, {very long hair}, gloves, black yellow coat, bandaged wrist, torn clothes, {{black}} eyeshadow, black and white eyes, earrings, {{floating crown}}, {star halo}, detached wings, {{masterpiece}}, {1girl}, black smear on right side of face, space background, {goddess}, {standing on a white platform}, {star symbol on clothes}, star earrings, {{medium}} breasts, bandaged torso, patterns on eye pupils, long majestic black yellow coat, chain earrings, makeup, large black and yellow coat, inside a cathedral at night, {detailed large crown}, character focus, floating stars, presenting a menger cube, magic cubes on background, dark magic, serious, {divine}, {{teenage}}, mini universe above hand, black cubes on the background, supernova on the background, decorated hair, covered body, {{{black background}}}, light above head, spirals on background, fractal patterns, {{dirty face}}, bandaged arms, fractal background