Впечатляющий Люмьер от Google показывает нам будущее создания коротких видео с искусственным интеллектом
27 января 2024 г.Google предпринимает еще одну попытку преобразования текста в видео с помощью Lumiere, новая модель искусственного интеллекта, способная создавать удивительно качественный контент.
Технический гигант, безусловно, прошел долгий путь со времен Изображение видео. Субъекты в видео Люмьера больше не являются кошмарными существами с плавящиеся лица. Теперь все выглядит гораздо реалистичнее. Морские черепахи выглядят как морские черепахи, шерсть животных имеет правильную текстуру, а люди в клипах с искусственным интеллектом улыбаются искренне (по большей части). Более того, здесь очень мало странных резких движений, наблюдаемых в других ИИ, генерирующих текст в видео. Движение в основном плавное, как по маслу. Инбар Моссери, руководитель исследовательской группы Google Research, опубликовала на своем канале YouTube видео, демонстрирующее возможности Люмьера.
Google приложил немало усилий, чтобы контент Люмьера выглядел как можно более реалистичным. Команда разработчиков достигла этого, реализовав так называемую архитектуру Space-Time U-Net (STUNet). Технология, лежащая в основе STUNet, довольно сложна. Но поскольку Ars Technica объясняет, что она позволяет Люмьеру понимать, где находятся объекты в видео, как они движутся и изменяются, и одновременно визуализирует эти действия, что приводит к плавному -текучее творение.
Это противоречит другим генеративным платформам, которые сначала устанавливают ключевые кадры в клипах, а затем заполняют пробелы. Это приводит к резким движениям, которыми известна эта технология.
Хорошо оборудован
Помимо преобразования текста в видео, в наборе инструментов Lumiere имеется множество функций, включая поддержку мультимодальности.
Пользователи смогут загружать исходные изображения или видео в ИИ, чтобы он мог редактировать их в соответствии со своими спецификациями. Например, вы можете загрузить изображение Девушки с жемчужной сережкой Йоханнеса Вермеера и превратить его в короткий клип, где она улыбается, а не тупо смотрит. У Люмьера также есть способность под названием Cinemagraph, которая может анимировать выделенные части изображений.
Google демонстрирует это, выбирая бабочку, сидящую на цветке. Благодаря искусственному интеллекту на выходе видео бабочка машет крыльями, а цветы вокруг нее остаются неподвижными.
Когда дело доходит до видео, ситуация становится особенно впечатляющей. Video Inpainting, еще одна функция, работает аналогично Cinemagraph в том смысле, что ИИ может редактировать части клипов. Женское зеленое платье с рисунком можно превратить в блестящее золото или черное. Lumiere идет еще дальше, предлагая стилизацию видео для изменения сюжетов видео. Обычную машину, едущую по дороге, можно превратить в транспортное средство, полностью сделанное из дерева или кубиков Lego.
Все еще в работе
Неизвестно, есть ли планы представить Lumiere для широкой публики или Google намерен реализовать его как новый сервис.
Возможно, мы могли бы увидеть, как ИИ появится на будущих телефонах Pixel в виде эволюция редактора Magic. Если вы с ним не знакомы, редактор Magic Editor использует «ИИ-обработку, [чтобы] разумно» изменять пространства или объекты на фотографиях на сайте Pixel 8. Video Inpainting нам кажется естественным развитием этой технологии.
На данный момент, похоже, команда будет держать это за закрытыми дверями. Каким бы впечатляющим ни был этот ИИ, у него все еще есть свои проблемы. Присутствуют рывковые анимации. В других случаях конечности субъектов превращаются в кашу. Если вы хотите узнать больше, исследовательскую работу Google о Люмьере можно найти по адресу Веб-сайт arXiv Корнелльского университета. Будьте осторожны: это сложное чтение.
И обязательно ознакомьтесь с обзором лучшие генераторы искусств искусственного интеллекта на 2024 год.
Вам также может понравиться
- Google Lens только что получил мощное обновление искусственного интеллекта – вот как его использовать
- Adobe Firefly использует генеративный-ИИ по-другому, и это может быть даже полезно для вас
- Alexa может создавать произведения искусства с использованием искусственного интеллекта на лучших устройствах Fire TV от Amazon — вот как использовать эту функцию
Оригинал