Анимация и текст ниже взяты с телеграм канала Ai Molodca
"Главная проблема визуальных моделей — это проблема контроля. Сделать красиво легко, а сделать как надо — это квест. С картинками проблему можно считать решённой (Controlnet, Dreambooth, IPAdapter и другие решения умельцев). С видео — пока всё только начинается.
Новая возможность Luma — загружать не только начальный кадр, но и конечный, что позволяет делать генеративную интерполяцию (переход) между ними. Это кажется маленькой фишкой, но на самом деле это большой шаг к контролю, который, думаю, станет стандартом для многих (Gen3 и прочих Клингов).
Если вы умеете в консистентную визуализацию и в целом круто управляете картиночными моделями, то перед вами открывается целое поле видео возможностей и СТОРИТЕЛЛИНГА. Я придумал уже с десяток способов интеграции в пайплайны с другими инструментами, и это даже при том, что пока генерации в Luma довольно сомнительного качества (пока что).
В приложении технический тест, где я использовал четыре кадра своего персонажа для презентаций, созданного в Dalle-3.
А вот-вот и Gen-3 выйдет, во многом не уступающий Соре по качеству. Так что последняя окажется в очень конкурентном поле.
What a time to be alive (снова)."
Meme Cinematic Universe