нейросеть менять лица

Нейросеть превращает мемесы в скриншоты из олдскульных игр

По моему великолепно

Масштабное исследование выявило 21 универсальное выражение лица

Американские психологи провели крупное исследование эмоций в разных культурах с помощью глубокой нейронной сети. В эксперименте почти шесть тысяч участников подражали фотографиям лиц с различными выражениями, а затем определяли изображенные эмоции. Используя нейросеть, ученые проанализировали полученные данные и выявили 21 выражение с высокой культурной универсальностью.

Эмоции можно назвать универсальным языком человечества. Дарвин объяснял их возникновение и развитие эволюционной необходимостью. Психолог Пол Экман выделял шесть универсальных выражений лица: гнев, отвращение, страх, удивление, печаль и радость. Но эмоций и выражений внутреннего состояния существует несколько десятков, и в разных культурах они называются по-разному. Сколько вообще эмоций можно передать мимикой и насколько они универсальны?

Подобными вопросами задались исследователи из США. Они собрали базу данных из выражений лиц 5833 участников из шести стран: Китая, Эфиопии, Индии, Южной Африки, США и Венесуэлы. Ученые взяли 4659 изображений различных выражений лица и попросили испытуемых сфотографировать себя, имитируя мимику на картинках.

Участники в сумме сделали 423 193 фотографии и оценили эмоциональную интенсивность от нуля до 100 согласно 48 эмоциональным определениям в шести странах. Используя глубокую нейросеть, которую обучили предсказывать значения движений лица, игнорируя внешность и контекст, исследователи выявили 21 выражение с высокой культурной универсальностью. Результаты опубликованы в журнале iScience.

Главные недостатки предыдущих подобных исследований, как утверждают авторы статьи, состояли в недостаточной выборке и в том, что нейросеть ранее обучалась на эмоциях одной культуры. Чтобы избежать неправильного перевода определений в разных культурах, в новой работе нейросеть обучали определять выражение лица в каждой культуре отдельно — у нее не было предварительных знаний о том, как эмоциональные понятия переводятся с одной языка на другой.

Участники проходили эксперимент в два этапа. Сначала они подражали случайным выражениям лица из 4659 предложенных изображений. Затем они определяли, что чувствует человек на картинке, и оценивали интенсивность эмоции от нуля до 100. Испытуемые из Индии, Южной Африки и США использовали термины английского языка, из Китая — китайского, из Эфиопии — амхарского, из Венесуэлы — испанского. На втором этапе независимая группа участников из каждой страны по тем же критериям оценивала мимику на фотографиях других испытуемых.

В результате выяснилось, что выражения лица, которые ассоциируются с 17 разными эмоциями, определялись одинаково во всех шести странах. Это «гнев», «скука», «концентрация», «отвращение», «страх», «радость», «боль», «грусть», «сексуальное желание», «(положительное) удивление», «усталость», «триумф», «спокойствие», «растерянность», «разочарование», «страдание» и «интерес». Четыре других понятия ученые классифицировали не так точно: «созерцание» в одних странах ассоциировалось с «сомнением» в других, то же самое случилось с парами «любовь» / «романтика»; «удовлетворение» / «довольство»; «(негативное) удивление» / «благоговение».

Однако, как отметили авторы, их исследование не лишено ограничений. Так, 4659 выражений лица испытуемых — это далеко не все возможные комбинации движений лицевых мышц. К тому же, помимо четырех выбранных языков, на которых говорит 40% населения Земли, существует еще 189 стран и 6500 других языков. Также до конца не ясно, как меняется мимика в зависимости от пола, социального класса и прочих индивидуальных различий.

Чешские разработчики делают нейросеть, которая сможет менять расу в играх и фильмах©

Первоисточник

Чешские разработчики из студии Paranormal делают нейросеть, которая сможет менять не просто цвет кожи персонажей с черного на белый или наоборот, а расу.

Данная "технология будущего" будет нацелена как на игры, так и на фильмы. До выхода, судя по всему, пока далеко, поскольку дизайнер Якуб Явора сообщил, что они "открыты для инвестиций или сотрудничества в области разработки". Так что радоваться пока рано. Однако, если (или лучше сказать когда) технология реализуется, недовольство мискастингом может исчезнуть раз и навсегда. Ниже представлено видео, демонстрирующее концепцию.

Лица Нетфликс или Диснея представили?

Инструкция: Как запустить нейросеть меняющий лица актрис на видео.

"Если у вас windows 10 64x, 16gb ОЗУ, 1050ti, i7 7700. То запустится 100% без проблем.

*Для начала скачиваем и устанавливаем CUDA 8.0

https://developer.nvidia.com/cuda-80-ga2-download-archive

Установка стандартная, после перезагружаем. Патчить ничего не надо.

*Скачиваем саму программу:

https://drive.google.com/file/d/1_D6JIZsv4JdIqydhfpXCP63HzlvnqCt6/view

*Скачиваем ffmpeg

https://ffmpeg.zeranoe.com/builds/

*ВАЖНО! ПОВТОРЯЕМ В ТОЧЬ ТОЧЬ!!!

Распаковываем FakeApp.zip в корень диск С. А так-же в корне диска С создаем папку fakes, внутри создаем папки data, data_A, data_B.

ffmpeg, распаковываем в папку FakeApp.

Получаем такую картину:

*Этап подготовки видео.

Скачиваем любое видео например с Хлое Морец и теперь нужно на любом видеоредакторе нарезать участки видео с её лицом и склеить в один видеофайл.

Сохраняем нарезанное видео в качестве 720p в папку C:\fakes\data_A называем её 1.mp4

Запускаем командную строку,пишем:

C:\FakeApp\ffmpeg\bin\ffmpeg.exe -i C:\fakes\data_A\1.mp4 -vf fps=25 "C:\fakes\data_A\out%d.png"

В папке C:\fakes\data_A видим как появляются картинки, ждем завершения процесса.

Запускаем fakeapp.bat в папке C:\FakeApp

Выбираем Align, поле Data указываем C:\fakes\data_A

Жмем Start. ЖДЕМ ПОЛНОГО ЗАВЕРШЕНИЯ!

В папке C:\fakes\data_A появится папка aligned где все упорядочены её лица.

*ЭТАП НОМЕР ДВА

Находим видео для друга и повторяем весь процесс, только вместо data_A указываем data_B.

Главное видео для друга должно быть одно лицо, если лиц в кадре несколько, программа будет менять их все.

После того как в папке data_A и data_B появилась папка aligned с упорядоченными лицами переходим к тренировке. Этот процесс жопаболь, ибо уходит очень много времени для тренировки нейросети.

Переходим на вкладку Train

В поле Data A указываем путь  C:\fakes\data_A\aligned

В поле Data B указываем путь C:\fakes\data_B\aligned

Жмем Start и ждем. Ждем. Ждеееееем. Наблюдаем как постепенно нейросеть учится и качество фото улучшается.

Если надоело ждать или качество вас устраивает, нажимаем клавишу Q, программа сохранит "весы" связей и можно будет в дальнейшем продолжить расчеты, ничего не теряется.

Результат работы за 4 часа обучения:

Лицо выглядит пока что вот так:

Что радует, лицо идеально стыкуется с этой актрисой. Главное терпение!

Сшиваем готовое видео

Склеивать готовое видео не долго, по времени уходит максимум 1 час. 

Отключаем обучение нажав на клавишу Q, переходим во вкладку Merge.

В пункте Data указываем C:\fakes\data_B\aligned

В пункте Direction указываем BtoA ( что на что меняем)

Нажимаем Start. В папке C:\fakes\data_B появится папка merged с изображениями где лица заменены. Теперь нужно картинки превратить в видеозапись. Есть два способа

*Способ 1й

Пример команды:

ffmpeg -i папка/название_секвенции_%05d.jpg -r [FPS, например 25] -c:v libx264 -q:v 2 output.mp4

Склеит секвенцию из папки "папка" с кадрами названия "название_секвенции_00001.jpg", т.е с пятью цифрами. Если хочется добавить звуковую дорожку, то следует дописать вот так:

ffmpeg -i папка/название_секвенции_%05d.jpg -i название_дорожки.wav -r [FPS, например 25] -c:v libx264 -q:v 2 output.mp4

Расширение картинок может быть любым, а не только jpg, тоже самое со звуком.

Вытащить дорожу из видео можно с помощью того же ffmpeg'a

ffmpeg -i название_видео.mp4 -b:a 320k выходная_дорожка.mp3

Получим mp3шку с 320к битрейтом

*Способ 2й.

Запускаем Adobe After Effects.

Файл - Импорт - Файл...

Переходим в папку C:\fakes\data_B\merged

Выделяем все фотки из папки merged. Ставим галку "Эпизод PNG"

Жмем Импорт.

В раскадровке появится видео. Накладываем звук, экспортируем, все готово.

Если в merge вылазит ошибка. Проверьте, не удалили файл alignments.json? Вот так должна выглядеть папка C:\fakes\data_B :

Примечание:

Форма черепа и лица должна быть максимально похожей. Без очков.

Можно сшивать мужские лица, главное следить за растительностью на лице, иначе сильно выделяется. "

С ругательствами у нейросети пока слабовато. Кое-что она может, но получаются монологи в стиле "Кровь и бетон"

Фотошоп+нейросети: Есть плагин для Photoshop и Krita под названием flying dog с поддержкой Stable Diffusion, который позволяет сразу менять выделенную или вырезанную область на результат текстового запроса.

Нейросеть - Deus ex machine или как обезличить искусство.

Сейчас мы являемся свидетелями революционного события, компьютер начал творить.

Любой обладатель подходящего железа может создавать рисунки по нажатию кнопки. Как пример это доступно в программах "DALL-E", "midjourney" и им подобные.

Но в чем подвох, ведь чем больше контента тем лучше?

Для этого нужно обозначить, что материалом для нейросети является любое цифровое изображение.

В частности работы художников и фотографов. Нейросеть собирает базу данных и при помощи алгоритма комбинирует новый продукт. Этот процесс можно сравнить с созданием персонажа в игровом редакторе, когда новый персонаж собирается из уже готовых элементов.

Так в чем же проблема?

Авторство. После машинной обработки оригиналы не упоминаются. Автором становится программа, а соответственно и её обладатель.

Например, AsukaLn, пользователь с портала deviantart. Он выкладывает работы полученные использованием нейросети. Работы красивы и однозначно заслуживают внимания. Но авторство оригиналов не упоминается, потому что только программа знает сколько и откуда взято.

Таким образом выстраивается неприятная для художника схема, где он становится конкурентом самому себе.

И чем больше и лучше рисует художник, тем выше шанс, что его работы станут базой для нейросети.

Также стоит отметить и неочевидную пользу. В отличие от искусства люди не вечны. Но нейросеть может продолжать их творчество бесконечно долго, пока существует база данных. Мы получили инструмент, способный сделать искусство по-настоящему бессмертным.

Прошу вас поделится своим мнение на эту тему. Как вы относитесь к творчеству нейросетей и что вы от них ждете в будущем?