увеличение качества изображения

Stable Diffusion начала синтезировать музыку

В рамках проекта Riffusion разработчики развивают вариант системы машинного обучения Stable Diffusion для генерации музыки вместо изображений. Мелодии можно создавать как на основе предложенного шаблона, так и с помощью текстового описания на естественном языке.

Компоненты для синтеза музыки написали на языке Python с использованием фреймворка PyTorch. Связь с интерфейсом реализовали на языке TypeScript. Компоненты доступны под лицензией MIT.

Сама модель открыта под лицензией Creative ML OpenRAIL-M, допускающей использование в коммерческих целях.

Обновлённая модель использует для генерации музыки модели «из текста в изображение» и «из изображения в изображение», но в качестве изображений выступают спектрограммы. Они отражают изменение частоты и амплитуды звуковой волны во времени. Система на выходе формирует новую спектрограмму, которая затем преобразуется в звуковое представление.

Проект Riffusion также может использовать для изменения имеющихся композиций и синтеза музыки по образцу. Этот процесс работает по аналогии с модификацией изображений в Stable Diffusion. Так, при генерации могут задаваться образцы спектрограмм с эталонным стилем, комбинироваться разные стили, выполняться плавный переход от одного стиля к другому или вноситься изменения в существующий звук для увеличения громкости отдельных инструментов, изменение ритма и т.д.

Образцы можно использовать для генерации длительно играющих композиций, создаваемых из серии близких друг к другу отрывков, немного меняющихся во времени. Они объединяются в непрерывный поток при помощи интерполяции внутренних параметров модели.

Для создания спектрограммы используется оконное преобразование Фурье. Чтобы решить проблему с определением фазы, задействован алгоритм аппроксимации Гриффина-Лима.

В ноябре Stability AI сообщила о выпуске новой версии модели Stable Diffusion 2.0. В ней улучшили качество и повысили вариативность получаемых изображений.

Опыт использования Stable diffusion

Просто совет (и, ни в коей мере, не реклама)

Здарова, реакторчане!

Во-первых, хотелось бы вас поблагодарить за тот высокий рейтинг, что вы ставили моим постам.
Во-вторых... Этого рейтинга бы не было без двух этих прог-
1. Обычная версия
2. Упрощённая

Это достаточно известная программа под названием "Waifu2X". Благодаря ей, качество невероятно старых артов максимально улучшается за счёт шумоподавления и увеличения качества разрешения.

Но я бы не стал делать этот пост без проблемы, которую заметил... На FB реакторе очень и ещё раз очень мало олдовых артов, ибо из-за их качества, их банально не хотят выкладывать, даже не задумываясь о том, что это можно исправить. Я говорил с модераторами и они подтверждали мои опасения на счёт этого:
"Проблема большинства старых артов - что их нельзя достать в оригинальном и хорошем качестве.
Смит, Бланше, Галлахер и т.п где-то так и не выложили многие исходные
варианты в сеть"
 © Самый клёвый Модер.


Решайте эту проблему при помощи тех прог, а сейчас, банальный пример-

Здравствуйте. Недавний пост натолкнул меня на мысль, а что если сделать ресайз версии уже постившихся ранее артов?

Оригинальный пост

Версия с увеличенным разрешением 

Бастрыкин-то прав

Google представила алгоритм RAISR (аббревиатура Rapid and Accurate Image Super-Resolution). Он улучшает изображения при помощи суперсемплирования. Отличие в машинном обучении — Google тренирует RAISR на 10 тысячах пар изображений в низком и высоком разрешении, чтобы затем воссоздать («додумать») утерянные детали низкокачественных снимков.

С помощью алгоритма компания хочет предоставить людям инструмент для восстановления и «ремастеринга» старых фотографий, которые были сделаны на низкокачественные камеры. Второй вариант использования — бо́льшая детализация при увеличении изображений на смартфонах; это позволит сохранить маленький размер картинок при лу́чшем качестве.

Цель данного сообщества собирать хорошие арты и доводить их до идеала.

В "perfect filter" постятся изображения которые вероятно так или иначе уже были на реакторе (тег "Баян" не ставиться), условия постинга: ВЫСОКОЕ РАЗРЕШЕНИЕ и ОТСУТСТВИЕ ВОТЕРМАРОК. Надписи могут присутствовать, если они имеют художественную ценность (по мнению постящего). 

Пусть название сообщества не вводит вас в заблуждение, так называемые "фильтры" - т.е. манипуляции с цветовой палитрой изображения - порицаются. Исключением является действие по увеличению контрастности изображения в случаях когда это необходимо.

Если постишь нечто пикантное, то желательно убрать цензуру.

В сообществе собственные теги. Отличаются от обычных они припиской perfect, общие теги ставятся только в постах, чья тематика задевает секретные разделы.

Не бойся постить. Если не знаешь какие теги указывать, то можешь поставить основной #perfect filter, а с остальным мы поможем. В данном сообществе ставить множество тегов не обязательно, но и не порицается.

Perfect filter мирный тег, так что без личных оскорблений.

Ограничений на тематику НЕТ, от Anime и игр, до my little pony и гуро, главное ставьте соответствующие теги с припиской Perfect, дабы не словить хейта за баян.

Если вы желаете на постоянной основе заливать в тег посты, вы можете создать личный тег, проставив "by X псевдоним X " как пример я пишу by 01.

Если на "perfect filter" появился уникальный контент, которого не было на реакторе, то не нужно обижаться мол "сволочи заперли этот арт в своем мирке, теперь я не смогу его запостить в нормальном фендоме, это же теперь баян!" - можешь, это за баян считаться не будет. Если кто-то не согласен, давай ссылку на эти правила.

"что если в теге уже запостили арт, но мне не нравиться как убраны вотермарки, и я могу лучше? - запость свой вариант, это не запрещается, но обязательно укажи в описании что "переделал арт "ссылка на пост".

"какими инструментами для работы с изображениями я могу пользоваться?" - Какими хочешь, но могу порекомендовать waifu2x - для увеличения разрешения и качества изображения, а для работы с вотермарками фотошоп, или его бесплатный аналог krita, если не хотите заморачиваться с установкой новых программ, то во многих програмах для просмотра изображений типа FastStone Image Viewer - есть неплохие встроенные инструменты.

"что мне делать если мне это не нравится/ я считаю что это какая-то фигня?" - заблокируй тег.

"если возникли ещё вопросы, или пожелания можете написать мне в личку, непременно отвечу.

Опять здасьте.

"Снежная Королева" (1957) в 4К

Это 200-е видео на моем канале, так что я постарался выбрать достойное произведение.

Обработка целого часа видео заняла немало времени, но я доволен. Удалось очень хорошо увеличить картинку, убрать мусор и зерно, мерцание... почти идеально :)

Я даже сделал дополнительную версию. Удалось добиться повышения четкости изображения после апскейла, но визуальный ряд немного поменялся. Лично мне нравится эта версия.

Часовые видео до 4К будут ютубироваться долго, да и все равно что-то потеряется при перекодировании, но подписчики тега наверняка помнят про папку с моими релизами на гугл-диске - там все в лучшем виде:

https://drive.google.com/drive/folders/15Qk1xODUGfBMGQbVWaTji7GEUupfTFMd?usp=sharing

Если вам понравилось на ютубе, и собираетесь показать детям, то скачивайте из папки в наилучшем качестве. Все лучшее - детям :)

Теперь сравнения (открывайте в полном размере, дабы узреть).

Оригинал vs апскейл (с четкостью):

Апскейл:

Четкий апскейл (ваще чоткий):

А еще Великолепный Гоша (все 10 серий) давно ждет, когда его заплюсуют на главную (мои предыдущие два поста).