как имитировать голос

Новый ИИ от "Microsoft" может имитировать голос любого человека с помощью 3 секунд аудиозаписи

Модель преобразования текста в речь может так же сохранять эмоциональный тон диктора и акустическое окружение.

Исследователи "Microsoft" анонсировали новую модель ИИ для преобразования текста в речь под названием "VALL-E", которая может точно имитировать голос человека, после того как ей предоставят трехсекундный образец аудиозаписи. Как только она запоминает конкретный голос, "VALL-E" может синтезировать аудиозапись того, как этот человек говорит что угодно, и сделать это таким образом, чтобы сохранить эмоциональный тон говорящего.

Его создатели предполагают, что "VALL-E" может быть использован для высококачественных приложений преобразования текста в речь, редактирования речи, когда запись человека может быть отредактирована и изменена на основе текстовой расшифровки (заставляя его говорить то, чего он изначально не говорил), и создания аудиоконтента в сочетании с другими генеративными моделями ИИ, такими как GPT-3.

"Microsoft" называет "VALL-E" "нейронным языковым кодеком" ("neural codec language model"). Она основана на технологии под названием "EnCodec", которую "Meta" анонсировала в октябре 2022 года. В отличие от других методов преобразования текста в речь, которые обычно синтезируют речь путем манипулирования волновыми формами, "VALL-E" генерирует дискретные коды "аудиокодеков" из текста и акустических образцов. По сути, он анализирует, как звучит человек, разбивает эту информацию на дискретные компоненты (называемые "лексемами") благодаря "EnCodec" и использует обучающие данные для соответствия тому "знанию" о том, как бы звучал этот голос, если бы он произносил другие фразы за пределами трехсекундного образца. Или, как "Microsoft" выражается в документе "VALL-E":

«Для синтеза персонализированной речи (например, "нулевого TTS" ("zero-shot TTS")) "VALL-E" генерирует соответствующие акустические лексемы на основе акустических лексем 3-секундной записи и образца фонемы, которые ограничивают информацию о дикторе и содержании соответственно. Наконец, сгенерированные акустические лексемы используются для синтеза конечной формы сигнала с помощью соответствующего декодера нейронного кодека».

"Microsoft" обучила возможности синтеза речи "VALL-E" на аудиотеке, собранной компанией "Meta", под названием "LibriLight". Она содержит 60 000 часов англоязычной речи от более чем 7 000 дикторов, в основном взятых из аудиокниг "LibriVox", являющихся общественным достоянием. Чтобы "VALL-E" выдал хороший результат, голос в трехсекундном образце должен точно соответствовать голосу в обучающих данных.

На сайте, посвященном примерам "VALL-E", "Microsoft" предоставляет десятки аудиопримеров модели ИИ в действии. Среди примеров "Speaker Prompt" – это трехсекундная аудиозапись, предоставленная "VALL-E", которую он должен имитировать. "Базовая истина" – это уже существующая запись того же диктора, произносящего определенную фразу для сравнения (своего рода "контроль" в эксперименте). "Базовая линия" – это пример синтеза, обеспечиваемого обычным методом синтеза текста в речь, а образец "VALL-E" – это результат работы модели "VALL-E".

При использовании "VALL-E" для получения этих результатов исследователи передали в "VALL-E" только трехсекундный образец "Speaker Prompt" и текстовую строку (то, что они хотели, чтобы сказал голос), и сравнивали образец "Ground Truth" с образцом "VALL-E". В некоторых случаях эти два образца очень близки. Некоторые результаты "VALL-E" кажутся сгенерированными компьютером, но другие могут быть приняты за речь человека, что и является целью модели.

Помимо сохранения тембра голоса и эмоционального тона диктора, "VALL-E" может также имитировать "акустическую среду" аудиообразца. Например, если образец получен из телефонного разговора, то в синтезированном аудиовыходе будут имитироваться акустические и частотные свойства телефонного разговора. Образцы "Microsoft" (в разделе "Синтез разнообразия") демонстрируют, что "VALL-E" может генерировать вариации тона голоса, изменяя случайное "зерно", используемое в процессе генерации.

Возможно, из-за способности "VALL-E" потенциально быть использованным для обмана, "Microsoft" не предоставила код "VALL-E" для экспериментов другим, поэтому возможность непосредственно проверить возможности "VALL-E" – отсутствует. Исследователи, похоже, осознают потенциальный социальный вред, который может принести эта технология. В заключении статьи они пишут:

«Поскольку "VALL-E" может синтезировать речь, которая сохраняет звучание диктора, это может нести потенциальные риски неправильного использования модели, такие как подмена идентификации голоса или выдача себя за конкретного диктора. Чтобы снизить такие риски, можно построить модель обнаружения, позволяющую определить, был ли аудиоклип синтезирован "VALL-E". Мы также будем применять принципы "Microsoft AI Principles" на практике при дальнейшей разработке моделей».

У нас есть все шансы отменить выборы

Читал, писал, спорил, выяснял и вдруг меня как осенило

Мы же в шаге от того чтобы отменить выборы 

С каждого минуса плиз по комменту, интересно с чем вы будете не согласны

В стране где выборы давно отражают реальность лишь телевизионную - в наших руках вдруг оказался способ для создания совершенно новой реальности

цифровая подписка на один и тот же тг канал - это и есть голос против войны!
Официальные выборы являются лишь формальность прошлого века, которую лысый карлика использует чтобы заткнуть себе уши покрикивая 'а вас нет'.  И за всей этой канителью - многие не увидели чуда которое уже произошло - прямо сейчас в наших руках оказался ключ к невероятно мощному, простому, и абсолютно безопасному действию, способному изменить ход истории. 

Навальный за все время своей деятельности сумел собрать 222к подписчиков - вдумайтесь, оппозиционер из ниоткуда собрала 250 за месяц! Уже 295к людей объединились чтобы типо учавствовать в сложной схеме которая косвенными путями поможет в теории донести голос до правительства - серьезно?

Выборы это сложный и длинный путь высказать тоже самое, что можно высказать.. просто подписавшись на канал! Нет, компанию продолжаем, но вдумайтесь - насколько же это просто и важно! Подпись на канал - это УЖЕ голос против войны. Можно сымитировать 100к ботов , но разве можно имитировать миллион человек? Вот где я не прав, объясните пожалуйста. Даже при лучшем раскладе, когда оппозиционера допускают на выборы - разве может быть такое что он наберет голосов больше чем подписок? А в худшем - вы хоть чем то блять рискуете? Я выслушал достаточно о людях которые боятся ставить подпись и голосовать.. а вот на тг который может послужить единым каналом для выражения мнения десятков миллионов людей - вам в чем проблема подписаться?) И отправлять например вот это сообщение(мб потом умельцы еще яснее эту мысль сформулируют) - в течении следующих нескольких месяцев там где это уместно и анонимано - вам тоже страшно? В следующий раз когда вы захотите написать хуйню в комментариях - порассуждайте лучше на тему того, как в нынешних реалиях переосмысляется сами пути голосвания - и вы сделаете для мира больше чем за всю свою ебаную жизнь!

Нашим приоритетом должно стать распространение идеи о том что подписка на один и тот же антивоенный тг канал - это УЖЕ голос против войны и это безумно значительный вклад не просто в формальную предвыборную компанию, но и уже ебейший способ выразить гражданскую позицию, которая раньше лишь в силу отсутствия интернета обросла всеми этими костылями. Очевидно что миллионы людей по всей россии не хотят войны и у них нет НИКАКОЙ возможности сказать об этом. ДАЙТЕ им ее - чем больше таких присоединится к одному тг сейчас, тем мощнее наше сообщество, тем законнее его голос и вклад в мирное будущее -  и это совершенно не зависит ни от итогов 'выборов путина', ни от дальнейших манипуляций законов в попытке заглушить голос большинства.  Увидьте - мы УЖЕ голосуем против войны просто вступаю в тот самый тг. Поэтому мы должны сделать ВСЕ чтобы здесь оказались ВСЕ кто хотят остановить войну. Те кто читает это, поймите - это целиком в руках вас - от того сколько сотен тысяч, миллионов нас будет в одном- будущее России зависит куда СИЛЬНЕЕ чем от итогов заранее известных выборов.  Никогда еще повлиять на власть не было так просто!

Нужно донести до людей мысль, что одна подписка на этот канал - это голос 100 реальных подписей на ОФИЦИАЛЬНЫХ выборах, это больше чем участие в митингах былых времен на пару тысяч. Этот канал - это уже голосование, когда голос, объединяется с миллионами других, стремящихся высказать ОДНО мнение, высказать ОДНО желание мирной жизни без войны и страха.

Я как это не вертел - как переоценить вообще важность этого шага?? В это не верится потому что это слишком просто - но каждая новая подписка на канал - шаг к огромной перемене в самой системе голосования. Количество подписчиков в том Телеграм-канале - не просто цифры, это индикатор нашей силы и нашего решения воспротивиться военной эскалации и политике страха. Чем больше нас, тем больше у нас возможностей влиять на будущее России, тем сильнее наша способность внести реальные изменения. 

Подписка на один канал - это не просто выбор информационного источника, это акт гражданской позиции которая у нас не было десятилетия! Каждый вступая в него становится частью большого и самого влиятельного движения во ВСЕЙ Росии. Мы уже огромная сила, а когда нас будет хотя бы миллион - мы сможем  изменить курс истории . Конечно же карлик будет всеми силами цепляться за - голоса нет - вас нет. Смешной.. похоже незаметно даже для себя мы вдруг обрели возможность собственноручно устанавливаем правила.. вот где я не прав..

Реакция профи на спецэффекты в фильмах (лучшие/худшие спецэффекты)

Избирательная комиссия сняла с выборов депутата Илью Яшина, признав его деятельность «экстремистской». Основание — поддержка Навального. Сам Яшин называет решение о запрете оппозиции участвовать в выборах фашистской практикой и рассказывает, как власти пытались купить его лояльность. 

Это уже даже не сталинские тройки. Те хотя бы имитировали суд. А тут даже решения суда не требуется, просто "Ты классово чуждый элемент, пошёл нахуй". 

В сиднейском зоопарке лирохвост научился идеально имитировать плач младенца.

Какой-то школьник орёт как элитная хентай-сэйю

Говорящая машина Фабера: Изумительная машина своего времени

  В августе 1846 года в Египетском зале Британского музея один из залов арендовал ученый-математик из Германии Джозеф Фабер. Любой, заплативший за входной билет шиллинг, могу видеть его устройство - «Изумительную говорящую машину», невероятное приспособление, способное имитировать человеческую речь и даже «дышать».

  Внешне механизм Эуфонии напоминал пианино, над которым размещалась довольно детально сделанная механическая "женская" голова. Четырнадцать клавиш управляли мимикой рта, языка и челюсти. Голос имитировало сложное устройство из мехов и, выполненного из слоновой кости язычкового инструмента. Фабер мог даже контролировать акцент своей Эуфонии, подкручивая специальный винтик.

  Меха раздувались под воздействием ножной педали. Тембр и высоту голоса регулировали шесть диафрагм, установленных вертикально в трубе, подводящей воздух ко рту. Смещаясь относительно друг друга, они позволили добиться приемлемого звучания Говорящей Головы. Устройство было сложным — двадцать пять лет потратил Джозеф Фабер на постройку Эуфонии.

  Эуфония могла произносить любые слова на любом европейском языке и даже пела «Боже, храни Королеву!». Наиболее сложным для произношения оказался звук «е». Изобретатель семь лет «учил» свой механизм произносить его правильно. И хотя до человеческой речи было далеко, тем не менее устройство Фабера — наиболее удачное из известных говорящих механизмов, документально зафиксированных.

  Несмотря на то, что Эуфония производила сильное впечатление на зрителей, шоу подстерегал крах. Дальнейшие попытки показывать Эуфонию были так же провальными. И через десять лет неудач Джозеф Фабер в приступе безумия уничтожил свой механизм и покончил с собой.

Sony запатентовала ИИ, который может проходить игру вместо игрока

Недавно компания Sony предоставила патент на функцию автоматической игры (auto-play), отдающей контроль за прохождением искусственного интеллекта. Он будет имитировать стиль прохождения пользователя, и может пригодиться на сложных или скучных моментах игры.

Функция автоматического прохождения игры может изменить отношение геймеров к видеоиграм, считает GAMINGbible. Внедрение ИИ и его интеграция в бизнес-модели может коренным образом изменить геймерский опыт.

По слухам компания готовится к запуску PS5 Pro позже в 2024 году, но подобную революционную функцию, вероятно, стоит ожидать уже в следующем поколении консолей.

Согласно патенту, режим автоматической игры будет использовать модель ИИ, чтобы научиться имитировать стиль игры пользователя, принимая для этого информацию из облачных сервисов, таких как PlayStation Network (PSN). Патент содержит несколько идей по реализации этой новой технологии, например, имитация конкретного стиля игры игрока после обучения на нескольких повторяющихся участках повторяющегося игрового процесса.

Другая идея связана с предполагаемым шлифованием контента (AGC), что позволяет игроку включить эту опцию до того, как начнутся моменты, которые расцениваются как повторяющиеся. Во время игры игроки могут восстановить режим автоматического воспроизведения в любой момент или получить уведомление после того, как скучный участок игры будет пройден.

Игра, которая играет сама в себя, это довольно противоречивая идея, которая может не понравиться многим геймерам, однако в некоторых случаях эта функция может быть полезна в современных игровых проектах. Игроки, часто играющие в слишком длинные и затянутые игры, могли бы использовать эту систему, чтобы пропускать части с гриндом, и играть только в те части, которые им нравятся.

Умное голосование - зачем голосовать за Людоедов?