deep fakes

Подписчиков: 10     Сообщений: 31     Рейтинг постов: 1,104.9

наука и техника технологии Microsoft нейросети VALL-E DeepFakes Deepfake deep fakes длиннопост длиннотекст 

Новый ИИ от "Microsoft" может имитировать голос любого человека с помощью 3 секунд аудиозаписи

 

Модель преобразования текста в речь может так же сохранять эмоциональный тон диктора и акустическое окружение.

 

г Вас беспокоят из ' службы безопасности . Сбербанка... >,наука и техника,технологии,Microsoft,Майкрософт,нейросети,VALL-E,DeepFakes,Deepfake,deep fakes,длиннопост,длиннотекст

 

Исследователи "Microsoft" анонсировали новую модель ИИ для преобразования текста в речь под названием "VALL-E", которая может точно имитировать голос человека, после того как ей предоставят трехсекундный образец аудиозаписи. Как только она запоминает конкретный голос, "VALL-E" может синтезировать аудиозапись того, как этот человек говорит что угодно, и сделать это таким образом, чтобы сохранить эмоциональный тон говорящего.

Его создатели предполагают, что "VALL-E" может быть использован для высококачественных приложений преобразования текста в речь, редактирования речи, когда запись человека может быть отредактирована и изменена на основе текстовой расшифровки (заставляя его говорить то, чего он изначально не говорил), и создания аудиоконтента в сочетании с другими генеративными моделями ИИ, такими как GPT-3.

"Microsoft" называет "VALL-E" "нейронным языковым кодеком" ("neural codec language model"). Она основана на технологии под названием "EnCodec", которую "Meta" анонсировала в октябре 2022 года. В отличие от других методов преобразования текста в речь, которые обычно синтезируют речь путем манипулирования волновыми формами, "VALL-E" генерирует дискретные коды "аудиокодеков" из текста и акустических образцов. По сути, он анализирует, как звучит человек, разбивает эту информацию на дискретные компоненты (называемые "лексемами") благодаря "EnCodec" и использует обучающие данные для соответствия тому "знанию" о том, как бы звучал этот голос, если бы он произносил другие фразы за пределами трехсекундного образца. Или, как "Microsoft" выражается в документе "VALL-E":

 

«Для синтеза персонализированной речи (например, "нулевого TTS" ("zero-shot TTS")) "VALL-E" генерирует соответствующие акустические лексемы на основе акустических лексем 3-секундной записи и образца фонемы, которые ограничивают информацию о дикторе и содержании соответственно. Наконец, сгенерированные акустические лексемы используются для синтеза конечной формы сигнала с помощью соответствующего декодера нейронного кодека».

 

"Microsoft" обучила возможности синтеза речи "VALL-E" на аудиотеке, собранной компанией "Meta", под названием "LibriLight". Она содержит 60 000 часов англоязычной речи от более чем 7 000 дикторов, в основном взятых из аудиокниг "LibriVox", являющихся общественным достоянием. Чтобы "VALL-E" выдал хороший результат, голос в трехсекундном образце должен точно соответствовать голосу в обучающих данных.

На сайте, посвященном примерам "VALL-E", "Microsoft" предоставляет десятки аудиопримеров модели ИИ в действии. Среди примеров "Speaker Prompt" – это трехсекундная аудиозапись, предоставленная "VALL-E", которую он должен имитировать. "Базовая истина" – это уже существующая запись того же диктора, произносящего определенную фразу для сравнения (своего рода "контроль" в эксперименте). "Базовая линия" – это пример синтеза, обеспечиваемого обычным методом синтеза текста в речь, а образец "VALL-E" – это результат работы модели "VALL-E".

 

Personalized
Speech
VALL-E
Text Prompt
Text for synthesis
>1
i|m|i
t
I*
4
Acoustic Prompt
3-second enrolled recording,наука и техника,технологии,Microsoft,Майкрософт,нейросети,VALL-E,DeepFakes,Deepfake,deep fakes,длиннопост,длиннотекст

Блок-схема "VALL-E", предоставленная исследователями "Microsoft".

 

При использовании "VALL-E" для получения этих результатов исследователи передали в "VALL-E" только трехсекундный образец "Speaker Prompt" и текстовую строку (то, что они хотели, чтобы сказал голос), и сравнивали образец "Ground Truth" с образцом "VALL-E". В некоторых случаях эти два образца очень близки. Некоторые результаты "VALL-E" кажутся сгенерированными компьютером, но другие могут быть приняты за речь человека, что и является целью модели.

Помимо сохранения тембра голоса и эмоционального тона диктора, "VALL-E" может также имитировать "акустическую среду" аудиообразца. Например, если образец получен из телефонного разговора, то в синтезированном аудиовыходе будут имитироваться акустические и частотные свойства телефонного разговора. Образцы "Microsoft" (в разделе "Синтез разнообразия") демонстрируют, что "VALL-E" может генерировать вариации тона голоса, изменяя случайное "зерно", используемое в процессе генерации.

Возможно, из-за способности "VALL-E" потенциально быть использованным для обмана, "Microsoft" не предоставила код "VALL-E" для экспериментов другим, поэтому возможность непосредственно проверить возможности "VALL-E" – отсутствует. Исследователи, похоже, осознают потенциальный социальный вред, который может принести эта технология. В заключении статьи они пишут:

 

«Поскольку "VALL-E" может синтезировать речь, которая сохраняет звучание диктора, это может нести потенциальные риски неправильного использования модели, такие как подмена идентификации голоса или выдача себя за конкретного диктора. Чтобы снизить такие риски, можно построить модель обнаружения, позволяющую определить, был ли аудиоклип синтезирован "VALL-E". Мы также будем применять принципы "Microsoft AI Principles" на практике при дальнейшей разработке моделей».

Развернуть

Уиллем Дефо гифки красотка Джулия Робертс Актеры и Актрисы Знаменитости deep fakes 

Развернуть

Отличный комментарий!

Alco Pony Alco Pony15.07.202121:17ссылка
+35.1

нейросети deep fakes дубляж 

Британский стартап выпустил программу, позволяющую изменять мимику актеров в кино. Так, чтобы она совпадала с дубляжом

нейросети,deep fakes,дубляж

Британская компания Flawless выпустила программу TrueSync, которая с помощью машинного обучения синхронизирует дубляж с мимикой актеров. Это значит, что движения губ и лицевых мышц людей на экране будут совпадать с тем, что говорят актеры озвучания

Нейросети сами проанализируют мимику актеров и подстроят под дубляж, заменив их лица на дипфейк. Выглядеть это будет так, будто, к примеру, Роберт Де Ниро изначально во время съемок произносил свои реплики на немецком, а не на английском, как показано в проморолике TrueSync:

Развернуть

Отличный комментарий!

Всрато.
EnterTrain EnterTrain07.05.202119:39ссылка
+41.3

Уиллем Дефо coub Бриджит Бардо Актеры и Актрисы Знаменитости deep fakes 

Развернуть

Джокер (фильм) Хит Леджер Актеры и Актрисы Знаменитости deep fakes гифки 

Развернуть

шварценеггер Актеры и Актрисы Знаменитости Билл Хейдер deep fakes видео DeepFakes 

Если бы Арнольд Шварценеггер не стал Мистером Олимпия

Развернуть

гифки Николас Кейдж Актеры и Актрисы Знаменитости друзья deep fakes 

Развернуть

Отличный комментарий!

Погодите, а что не так то?
Glabrex Glabrex06.02.201911:40ссылка
+2.3
У всех Николасов Кейджей тела других актеров.
clif08 clif0806.02.201911:54ссылка
+33.2

Актеры и Актрисы Знаменитости Дженнифер Лоуренс Стив Бушеми гифки видео deep fakes 

Ничего необычного, Дженнифер Лоуренс с лицом Стива Бушеми, листай дальше

Пользователь Delaware Destroyer выложил на YouTube видео, созданное с помощью искусственного интеллекта, на котором у актрисы Дженифер Лоуренс лицо актера Стива Бушеми.



За основу неизвестный автор видео взял видео Лоуренс на церемонии вручения «Золотого глобуса» в 2016 году. 


С помощью специального алгоритма на основе машинного обучения, находящегося в свободном доступе, создатель ролика подставил вместо лица Лоуренс лицо Бушеми. В результате создается полное ощущение, что Бушеми в женском платье разговаривает голосом Лоуренс.


Такие видео называют дипфейками (deep fakes). Впервые о них стали писать в конце 2017 года, когда появились порноролики, в которых лица голливудских актрис «приставлены» к телам порноактрис. 


Развернуть

Отличный комментарий!

чячя чячя31.01.201911:58ссылка
+72.6

нейронные сети nvidia котэ deep fakes 

Посмотрите на эти изображения. Люди на них выглядят вполне реальными, но на самом деле они никогда не существовали. Их создала нейросеть от Nvidia

нейронные сети,nvidia,котэ,прикольные картинки с кошками,deep fakes

Производитель компьютерной периферии Nvidia научила нейросеть создавать максимально реалистичные изображения людей, которых на самом деле не существует. Отчет о работе специалистов опубликован на сайте библиотеки Корнеллского университета. 

За основу для своей работы исследователи из Nvidia взяли так называемую генеративно-состязательную сеть, которая среди прочего позволяет создавать реалистичные фотографии.


В 2014 году сеть описал Ян Гудфеллоу. Сейчас он работает в проекте Google Brain, который посвящен изучению искусственного интеллекта. Четыре года назад Гудфеллоу представил первые результаты работы нейросети — тогда это были не очень детальные черно-белые изображения людей.

нейронные сети,nvidia,котэ,прикольные картинки с кошками,deep fakes

Сотрудники Nvidia добавили в генеративно-состязательную сеть метод style transfer — он позволяет совмещать характеристики одного изображения с другим. Похожий метод используют фоторедакторы вроде Prisma, которые с помощью нейросети превращают обычное фото в изображение, к примеру, в стиле импрессионизма. 


В случае с исследованием Nvidia, style transfer позволил придать исходному изображению человека черты другого человека, таким образом создавая уникальное изображение мужчины или женщины. 


Verge отмечает, что результаты работы Nvidia в будущем можно будет использовать, например, для рекламных материалов. Но в тоже время существует опасность, что их будут использовать в пропаганде или, например, для разжигания конфликтов. 


Но, главное - котанов нейросеть тоже рисует на раз-два!

	¡	
		
г » ' I W i		Л > ■. --«a? f,нейронные сети,nvidia,котэ,прикольные картинки с кошками,deep fakes

Развернуть

Отличный комментарий!

Я уже вижу лучшее применение для этой технологии.
dadv dadv19.12.201808:03ссылка
+11.6
enyarisme enyarisme19.12.201808:30ссылка
+42.1

DeepFakes Николас Кейдж Актеры и Актрисы Знаменитости нейросеть deep fakes видео 

Нейросеть deepfake, созданную для замены лиц порноактрис на лица знаменитостей начали использовать для переделки фильмов.

Тут недавно уже был трейлер Соло в котором было подставлено лицо молодого Форда, а теперь фанаты сделали прекрасное видео, где взяты эпизоды из фильмов и почти всех актеров заменили на Николаса Кейджа. То что получилось можете увидеть ниже.
Развернуть

Отличный комментарий!

ух, бля... грядёт новая волна!
крокозябр крокозябр 29.10.201810:40 ссылка
+54.1
В этом разделе мы собираем самые смешные приколы (комиксы и картинки) по теме deep fakes (+31 картинка, рейтинг 1,104.9 - deep fakes)