любовь отношения химия наука

Stable Diffusion начала синтезировать музыку

 

В рамках проекта Riffusion разработчики развивают вариант системы машинного обучения Stable Diffusion для генерации музыки вместо изображений. Мелодии можно создавать как на основе предложенного шаблона, так и с помощью текстового описания на естественном языке.

 

 

Компоненты для синтеза музыки написали на языке Python с использованием фреймворка PyTorch. Связь с интерфейсом реализовали на языке TypeScript. Компоненты доступны под лицензией MIT.

Сама модель открыта под лицензией Creative ML OpenRAIL-M, допускающей использование в коммерческих целях.

Обновлённая модель использует для генерации музыки модели «из текста в изображение» и «из изображения в изображение», но в качестве изображений выступают спектрограммы. Они отражают изменение частоты и амплитуды звуковой волны во времени. Система на выходе формирует новую спектрограмму, которая затем преобразуется в звуковое представление.

Проект Riffusion также может использовать для изменения имеющихся композиций и синтеза музыки по образцу. Этот процесс работает по аналогии с модификацией изображений в Stable Diffusion. Так, при генерации могут задаваться образцы спектрограмм с эталонным стилем, комбинироваться разные стили, выполняться плавный переход от одного стиля к другому или вноситься изменения в существующий звук для увеличения громкости отдельных инструментов, изменение ритма и т.д.

Образцы можно использовать для генерации длительно играющих композиций, создаваемых из серии близких друг к другу отрывков, немного меняющихся во времени. Они объединяются в непрерывный поток при помощи интерполяции внутренних параметров модели.

Для создания спектрограммы используется оконное преобразование Фурье. Чтобы решить проблему с определением фазы, задействован алгоритм аппроксимации Гриффина-Лима.

В ноябре Stability AI сообщила о выпуске новой версии модели Stable Diffusion 2.0. В ней улучшили качество и повысили вариативность получаемых изображений.

В эмбрионах старше запрещённого для исследований срока не нашли предшественников нервных клеток

До недавнего времени эксперименты с зародышами человека были строго ограничены 14-м днем развития. Считалось, что после этого начинает формироваться нервная система — а значит, эмбрион теоретически может что-то почувствовать. Сейчас в руки к британским и немецким ученым попал запланировано абортированный зародыш человека возрастом 16-19 дней. Они разобрали его на отдельные клетки, нашли много разных клеточных типов и проверили: никаких предшественников нейронов там нет.

Третья и четвертая неделя внутриутробного развития — самый загадочный из периодов человеческой жизни. На этой стадии многие женщины даже сами не знают о том, что беременны, и тем более редко замечают выкидыши и планируют аборты — а значит, человеческие эмбрионы не попадают в руки биологов и врачей. Поэтому делать выводы о раннем развитии человека приходится, изучая других млекопитающих или приматов.

Ричарду Тайзеру (Richard Tyser) из Оксфордского университета и его коллегам посчастливилось заполучить полностью сохранный человеческий эмбрион — от пациентки, которая на самой ранней стадии беременности запланировала аборт и подписала согласие на использование зародыша в научных целях. Исследователи оценили возраст эмбриона в 16-19 дней: на этой стадии как раз активно идет гаструляция, то есть разделение плоского диска на три слоя будущего тела и формирование плана строения организма (где будет голова, а где хвост, где правая половина, а где левая).

Авторы работы разобрали эмбрион на отдельные клетки и отсеквенировали их РНК. Это получилось сделать для 1195 клеток, в среднем в каждой обнаружили работу около 4 тысяч генов. Все клетки были генетически здоровы (без хромосомных аномалий) и достоверно принадлежали не матери, а ребенку — он был мужского пола, и в его клетках работали гены с Y-хромосомы.

Исследователи выгрузили все полученные результаты в открытый доступ — получилась база данных по работе генов в раннем зародыше, с которой смогут работать их коллеги, если решат, например, смоделировать эту стадию развития in vitro. Сами же ученые воспользовались этими данными, чтобы выяснить, из каких типов клеток состоял эмбрион.

Так, например, они обнаружили, что на этой стадии клетки внутреннего слоя (энтодермы, из нее потом образуется кишечник) и среднего слоя зародыша (мезодермы, она даст начало скелету, мышцам, сосудам и другим тканям) уже достоверно отличаются друг от друга и от клеток внешнего слоя (эктодермы, из нее получатся кожа и нервная система).

Кроме того, авторы работы нашли в эмбрионе предшественники половых клеток. Это было неудивительно: считается, что они образуются где-то с 11-14 дней развития. Зато, вопреки ожиданиям, они обнаружили эритробласты — предшественники эритроцитов. У мышей они так рано не появляются, но в этом эмбрионе исследователи достоверно их определили: и по экспрессии генов, и по цвету, что видно на фото в посте.

Наконец, у ученых не получилось найти ни нервных клеток, ни их предшественников — судя по всему, специализация нервной системы на этой стадии еще не началась. А значит, опасения по поводу того, что зародыш сможет что-то почувствовать, не подтвердились.

Авторы работы призывают относиться к их результатам с осторожностью: все-таки в их распоряжении был только один эмбрион, и неизвестно, насколько можно по нему судить о развитии людей в целом. Тем не менее, их наблюдения свидетельствуют о том, что он был абсолютно здоров и развивался нормально. А пока других подобных работ не появилось, их коллегам придется довольствоваться тем, что есть, и использовать эту базу данных об экспрессии генов как образец развития человека. Из нее уже как минимум стало ясно, что многие модели зародышей из стволовых клеток неплохо воспроизводят настоящий эмбриогенез, а вот у мышей, например, некоторые типы клеток работают немного по-другому и хорошей моделью служить не могут.

Это исследование может послужить отправной точкой в развитии законодательства об исследованиях на эмбрионах и в новом витке срачей об абортах.

Работа опубликована в журнале Nature.