Итак, теперь, когда я привлёк ваше внимание, хочу повторить свой запрос о помощи. Может теперь его услышит тот пидор, который сможет мне помочь...
Видел сто лет назад эротическую гифку: в эфире какой-то передачи стоят за стойкой мужчина-ведущий и девушка, а за её спиной другая девушка, которая первой приподнимает футболку и оголяет её сиськи. Одна из девушек была в кепке.
Концепт-кар 1980 года с эффектным клиновидным дизайном, оснащенный 5,3-литровым двигателем V8 с двойным турбонаддувом мощностью 600 лошадиных сил, обеспечивающим максимальную скорость более 200 миль в час.
Теодор "Тед" Фудзита, также известный среди коллег под прозвищем Мистер Торнадо - легендарная личность среди любителей экстремальной погоды. Родился в Японии в 1920-м, получил степень бакалавра машиностроения, защитив диссертацию по повреждениям, вызываемым свободно падающими стальными шариками. Вместе со своими студентами изучал разрушения от ядерных бомбардировок Японии. Он вполне бы мог и сам оказаться там во время бомбардировок, но его отец настоял, чтобы он пошел в Университет Мейдзи, а не в Хиросимский педагогический. В то же время он заинтересовался метеорологией, особенно - ветром. Он начал изучать метеоявления в Японии, написал работу, в которой предсказал существование микропорывов, перевел ее на английский и отправил перевод Хорасу Байерсу, главе департамента Метеорологии в Чикагском университете, чью книгу читал. Впечатленный, Байерс пригласил Фудзиту на работу, и в 1956 году он переехал в США.
Он изучал грозы, смерчи, ураганы, внеся большой вклад. Но более всего известен по шкале интенсивности разрушений торнадо, которая была во многом вдохновлена изучением разрушений в Хиросиме и Нагасаки. Он представил ее в 1971 году, потом оттачивал критерии. Больше всего данных он вместе со своими уже американскими студентами собрал после супервспышки торнадо 3 апреля 1974 года. Масштаб события позволил Фудзите показать полезность своей шкалы и вскоре она была официально принята.
В истории США было две супервспышки торнадо: в 1974 году и 25-28 апреля 2011 года. В 1974-м году за 24 часа произошло 148 торнадо, в 2011-м - 360, в том числе 216 за один только день 27 апреля. Любители торнадо до сих пор спорят, какая из них была наиболее супер. Спор, вероятно, не может быть однозначно разрешен, в том числе потому, что с тех пор шкала была модифицирована и критерии несколько изменились:
Шкала Фудзиты - это именно шкала разрушений, а не потенциальной силы торнадо. Интенсивность торнадо определяется по разрушениям построек. Т. е. если смерч пройдет по полю или лесу, не затронув никакие человеческие постройки, ему вообще не присвоят рейтинг, каким бы мощным он ни был. Если смерч оставил повреждения на постройках, ему все равно может быть присвоен рейтинг ниже его потенциала, т. к. постройки были хлипкие. Чтобы смерч получил высокий рейтинг, он должен оставить повреждения крепких конструкций. Например, полностью сорвать стены с крепящих их к фундаменту болтов (Штифтов? Штырей? Не знаю, как это называется, у них это называется anchored house).
Рейтинг присваивается смерчу по максимальным разрушениям на пути его следования, даже если они были всего в одном месте, скажем, у одного дома.
Современная шкала начинается с рейтинга
EF0
По данным Центра предсказаний гроз США (на самом деле, не гроз, а storm, но у нас нет адекватного перевода для этого термина, т. к. он включает в себя все: и гром, и молнии, и ливень, и сильный ветер, и град, и торнадо), 53% смерчей с момента принятия шкалы в двухтысячных приходятся на эту категорию, это примерно по 1000 штук в год. Скорость ветра 29-37 м/с. С такой скоростью ветра вы вполне могли сталкиваться в жизни. Это очень сильный ветер, особенно по меркам нашей страны, где экстремальный погодные явления редки. Я такой переживал пару раз за всю жизнь, и это было жутковато. Смерч силы EF0 может ломать ветки деревьев, свалить хрупкое дерево целиком, вполне может свалить с ног, может сорвать черепицу, поднимать легкие предметы в воздух.
С 2007 года от смерчей категории EF0 (их за это время было больше 10 тысяч) погибло всего 4 человека, как раз от упавших на них ветхих деревьев.
Выглядит это примерно так:
EF1
Скорость ветра 38-49 м/с. На их долю приходится 33% всех смерчей. Вот это уже серьезная сила: может полностью сорвать крышу, может унести собакена или котэ. Может опрокинуть легкую машину:
Торнадо EF0 и EF1 классифицируются как слабые.
EF2
Торнадо силой EF2 и выше классифицируются как значительные.
Скорость ветра 50-61 м/c, доля среди всех торнадо чуть больше 10%. Где-то в этом диапазоне находится терминальная скорость свободного падения человека плашмя. Значит, такой смерч способен поднять вас в воздух. Такие смерчи уже могут полностью разрушить слабые строения, поднять в воздух машину, оставить просеку в лесу.
Смерч в Башкирии в 2014 году. Регику повезло, что его зацепило только краем:
EF3
Торнадо силой EF3 и выше классифицируются как сильные.
Скорость ветра 62-74 м/с, доля среди всех торнадо - 3%. Разрушения можете прикинуть сами. Смерч в Андовере, 2022 год, каким-то чудом в нем никто не погиб:
Смерч в этом году сносит фабрику в Небраске:
EF4
Торнадо силой EF4 и выше классифицируются как разрушительные.
Скорость ветра 75-89 м/с, доля среди всех торнадо - 0,5%. Т. е. в среднем их бывает всего несколько штук в год. А в 2018 году, единственный раз в истории, их в США не было вообще ни одного. Торнадо силой EF4 - это катастрофа. Деревья летают в воздухе, дома летают в воздухе, машины, металлоконструкции...
Смерч в Винвуде в 2016 году:
EF4 в Тускалузе во время супервспышки 2011 года проходит вдалеке:
EF5
Скорость ветра - 90 м/с и выше, доля среди всех торнадо - 0,05%. Последний EF5 был в 2013 году, а с 1950 года смерчей максимальной категории было всего около 60.
EF5 - центральная фигура всего "лора", связанного с торнадо. Как сказал Причер из фильма Смерч, это Палец Бога. Несмотря на то, что их в среднем бывает всего 1 на 2000 или примерно один в год (а сейчас все еще длится самый долгий период в истории без EF5 - с 2013 года), на их долю приходится более 50% всех погибших и пострадавших. И многие миллиарды долларов ущерба. Они надолго оставляют на поверхности Земли шрамы, видимые со спутника: уничтоженные районы, просеки в лесах. И шрамы на человеческих жизнях. Их помнят годами, десятилетиями. Повреждения, которые они наносят, невероятны. Существует много споров и много кандидатов на должность самого-самого.
Этот - один из самых первых, который обычно вспоминают. Смерч в мае 1999 года в пригороде Оклахома-Сити имел самую высокую зарегистрированную скорость ветра на Земле - около 144 м/с. На этом основании некоторые записывают его в категорию F6.
Да, изначально Фудзита составил шкалу аж до F12, у которого скорость ветра сравнивается со скоростью звука. Но все категории выше F5 были чисто гипотетическими, и им никогда не ставили в соответствие никакие конкретные повреждения построек. Хотя, сам Фудзита предварительно давал эту категорию двум смерчам, но потом откатывал до F5.
А вот его последствия. Одно из самых известных фото повреждений торнадо в истории:
Смерч в 1997 году в Джаррелле, штат Техас, за счет того, что очень медленно двигался, оставил настолько сильные разрушения, что ужаснулись даже бывалые исследователи, когда прибыли на место. Он практически стер с лица земли небольшой район, почти не оставив обломков. Он расчленял и уродовал тела людей и животных до полной неузнаваемости, так что первых сначала принимали за вторых. Содранная кожа у людей, содранная шерсть у животных, трупы коров, утыканные стеблями кукурузы. В течение получаса смерч практически стоял на месте и перемалывал все, что в него попало.
Вот так выглядел район Дабл Крик после прохождения смерча. Практически голые фундаменты домов и грязь вокруг.
Смерч супервспышки 2011 года в Филадельфии, штат Миссиссиппи, сорвал с поля землю на глубину до 60 сантиметров, такого не было никогда.
Другой смерч той же супервспышки сорвал пол в доме и убил людей, прятавшихся в противо-смерчевом погребе. У этого смерча была самая большая площадь повреждений максимальной силы среди всех изученных. Он просуществовал два с половиной часа и за это время прошел больше 200 километров.
Смерч в Эль-Рино, Оклахома, в 2011 году опрокинул нефтяную вышку весом 850 тонн. Это самый тяжелый объект, передвинутый торнадо:
Смерч 1925 года, единственный, которому дали собственное имя - Торнадо Трех Штатов. Это было задолго до эры активных исследований торнадо и задолго до шкалы Фудзиты, но все сходятся во мнении, что это был смерч максимальной категории и один из самых сильных смерчей в истории. Он прошел рекордные 350 километров через три штата с огромной скоростью под 100 км/ч и убил 695 человек, наибольшее количество для одного смерча в истории США.
Дело, начатое Тедом Фудзитой, живет. Улучшается понимание атмосферных процессов, улучшается прогнозирование, улучшаются системы предупреждения, постоянно расширяется сеть метеорадаров. Во время вспышек торнадо местные каналы ведут непрерывные трансляции, сообщают места вероятных ударов стихии, дают инструкции. 26 апреля была очень серьезная вспышка торнадо, но не смотря на то, что десятки смерчей, в том числе сильных, прошли по штатам Аллеи торнадо, погиб всего один человек.
Создание "анимации" через img2img в Stable Diffusion.
И вновь здравствуйте. Продолжая серию познавательного по нейросетям, сегодня разберём несколько способов, как снятое видео преобразить с помощью нейросетей. Думаю вы видели разные нейронные-клипы и прочее, где криповые ебаки дрыгаются и перетекают из формы в форму. Вот чё то похожее мы будет сегодня делать, но я постараюсь не уходить в крипоту, а сделать, что то вменяемое на сколько кривизна моих рук мне позволит. Ну с предисловием почти закончили.
Вот пример того, что сегодня накуролесим.
И так, что на понадобится? Для начала установленный Stable Diffusion webui от AUTOMATIC1111 (на других работаю редко) и программа EbSynth. Не помешает знание, того, как щёлкать телефоном видео, как переносить их на пк, и как разбить их на последовательность изображений и обратно в другие форматы. Окей вроде всё.
Перво-наперво потребуется снять короткое видео, можно и долгое, хоть кино снимайте, но обрабатывать будем дольше.
Любым удобным способом разбиваем видео на последовательность изображений, типо img_[####].png , я делаю это обычно через After Effects, но можно и онлайн сервисами, просто загуглите "mp4 to png sequence".
И так теперь перед нами два пути, долгий и не столь долгий.
Долгий: Можем обработать все кадры через Stable Diffusion и слепить из них обратно анимацию, но это довольно долгий процесс.
Покороче: Можем воспользоваться программой EbSynth, скормив ей несколько отредаченных ключевых кадров, по которым, она выстроит остальное изображение, основываясь, на движениях с остальных "чистых" кадров. Звучит как магия. Ну оба эти способа имеют как плюсы так и минусы.
Плюсы и минусы полностью через SD:
+ Мало артефактов
+ Анимация чувствуется цельной без разрыва композиции
- Долгое производство
- Флики фона и разных деталей (может кому то зайдёт)
Плюсы и минусы EbSynth:
+ Плавность
+Отсутствие фликов фона и детализации
- Явно видны переходы при смене ключевого кадра (умельцы думаю смогут на монтаже сгладить смешением кадров и т.д...)
- Артефакты при движениях
И так разобрались с плюсами и минусами, и начнём разбирать оба варианта. Начнём с создания с помощью перерисовки всех кадров в SD.
Я специально записал достаточно проблематичный футаж, где я часто и резко дёргаю головой и кривляюсь. Да бы посмотреть, как оба варианта себя покажут в одинаковых условиях.
Видео длится чуть больше 9 секунд, 270 кадров, 30 FPS, 2160x3840. Для этого способа, я намерено удалю половину кадров. Даже не потому, что я задолбаюсь рендерить, но и то, что каждый кадр будет создавать флики деталей, и в 30 FPS их будет в 2 раза больше, чем вы увидите дальше. Не думаю, что было бы приятно, поэтому, так как на вкус и цвет эпилептиков нет, продолжаем.
Разбиваем видео на последовательность изображений.
Заходим в Stable Diffusion и переходим в раздел img2img. загружаем для начала один любой кадр, по нему мы и будем выстраивать всё дальнейшее преобразование.
Для своего примера я выставил модель "sd-v1-5-inpainting", 60 Steps, Euler, разрешение максимально близкое к соотношению сторон кадра, CFG scale 24 denosing strength 0,5. Так же среди скриптов выбрал img2img alterbative test, там убрал все галочки кроме последней "Sigma adj...", В original prompt описываю, то как выглядит ОРИГИНАЛЬНОЕ изображение, остальные значения по умолчанию.
Возвращаюсь наверх, выставляю всё тот же оригинальный промпт и приписываю ему дополнительные детали, и негативные промпты которые мне не нравятся.
Ииии крутим барабан до тех пор пока не увидим изображение, которое зацепит взгляд. Нашли? Отлично сохраняем сид, и прописываем его. Шикарно, а вот теперь реальная закалка для видюхи. Мне пришлось прописывать "--precision full --no-half" в парамтры запуска SD, ибо уменя почему то хреново работает с img2img и часто выдаёт чёрные пикчи. С этими аргументами проблема решилась, но генерация стала дольше.
Переходим в подпункт Batch img2img, и указываем путь, туда где лежит наша последовательность кадров, и путь куда мы выведем всё добро. Убеждаемся, что сид введён, всё готово, и жмём снова старт. Ну у меня на обработку 135 изображений ушло около часа. Поэтому прикидывайте размер изображения и число кадров, что бы не ждать уйму времени, но без этого никуда.
И так, как только всё закончилось, ищем свежие сохранённые кадры, надеюсь они у вас будут поименованы так, же как и файлы для импорта, в формате последовательности. Их можем обратно перековырнуть в форматы видео или гиф, с помощью фотожопа, after effects или онлайн решений (гуглим пальчиками).
Получилось у меня следующее:
Видно, что постоянно дёргается всякое на фоне, но это можно и растушевать или обрезать уже на монтаже кому нужно, сам кадр персонажа держится цельно и не распадается на артефакты, блеск.
А теперь попробуем почти тоже самое, но при помощи EbSynth.
Запускаем прогу и видим, что нас просит вставить путь до Keyframes (ключевых кадров) и Video (последовательность изображений нашего видео).
Важный момент! Разрешение ключевых кадров должно быть идентично размеру видео или наоборот. Если у вас ключевой кадр в 480p а видео в 4K, то словите ошибку.
Нам потребуется задать минимум один обработанный ключевой кадр, по которому оно будет достраивать остальное на основе движения остальных кадров. Я буду вставлять ключевые кадры, каждый раз, когда я буду двигаться и менять выражение лица. Вышло 10 кадров вместо 135 перерисовки.
Ну а для видео я задействую все 270 кадров и не буду их обрезать, пусть будет в нативных 30 фпс.
Дальше для себя я открыл Advanced и тыкнул на Synthesis Detail: High, просто потому что хочу. Вам не обязательно.
Теперь запутаная хрень. Надо задать последовательность встраивания ключевых кадров.
Если простым языком, каждый ключевой кадр будет отвечать за участок в видео от a-кадра b-кадра. Следовательно, так как я разбивал их с идеей, что они будут встраиваться, там где будет происходить динамика, так я и раставляю ключевые кадры. Если у вас видео где минимум движений, максимум движение губ и мимики, то не нужно так запариваться. Если у вас видео, где прыгает попугай, а из него вы рисуете динозавра, то да, надо будет чуть ли не каждый прыг-скок закейфреймить в идеале, а то попугей рассыпется на артефакты.
Выставили все кадры, выставляем теперь каждому вывод, я выведу их в одну папку, но можете в разрые, если намерены смешивать кадры на монтаже (при этом вы заранее в выствлении кадров всё предусмотрели для этого).
Всё жмём RUN ALL и ждём минут 15-20, ну я ждал столько.
Получаем всю такую же последовательность изображений и всё так же известными способами конвертим в удобный для себя формат.
Поздравляю вы великолепны если повторили, всё шаг в шаг и получилось.
Видно, что с этим способом, анимация вышла плавней, без эпилептических вспышек, но сыпется местами на артефакты и видны стыки ключевых кадров но это фиксится монтажом.
Можно ли делать, что то сложнее, чем из мужика-мужика. Можно хоть в киборга или чужого себя перерисовать, но тогда сложнее будет выдержать единый стиль изображения, ибо не уверен, что удастся отрисовать несколько раз идентичные образы выдержанные в одном стиле, но это зависит от того, какие настройки вы выставите, но если оставите, слишком приближающее к оригиналу изображения, то и совсем отличающегося персонажа не выйдет. Ладно вот пример из начала темы.
Как видно, в каждом ключевом кадре облик ощутимо меняется. Тем не менее, кто научится этим пользоваться в полной мере, думаю сможет обратить это себе в пользу.
Спасибо, что дочитали, надеюсь, кому то будет полезно. Задавайте вопросы, постараюсь на них отвечать. Если я где то ошибся, не стесняйтесь поправить меня.
Отличный комментарий!