Следующий крупный проект Adobe — это искусственный интеллект, который может повышать качество видео с низким разрешением до восьми раз по сравнению с исходным качеством.
25 апреля 2024 г.Группа исследователей Adobe недавно опубликовала статью о новую модель генеративного искусственного интеллекта под названием VideoGigaGAN, и мы полагаем, что она может быть реализована в будущем продукте. Он повышает качество видео низкого качества до восьми раз по сравнению с исходным разрешением, не жертвуя при этом стабильностью или важными аспектами исходного материала. На сайте проекта можно найти несколько демонстрационных видеороликов, демонстрирующих его способности. Он может превратить размытое видео водопада с разрешением 128x128 пикселей в кадры с разрешением 1024x1024 пикселей.
Сообщение @luokaiПросмотр тем
Что примечательно в ИИ, так это то, что он не упускает из виду мельчайшие детали. На лицах людей видны текстура кожи, морщины, пряди волос и многое другое. Другие демоверсии также имеют аналогичный уровень качества. Благодаря этой технологии вы сможете лучше разглядеть лебедя, плавающего в пруду, и цветок на дереве. Может показаться странным уделять столько внимания морщинам на коже или перьям. Однако именно этот уровень детализации должны обеспечивать такие компании, как Adobe. если они стремятся внедрить ИИ, улучшающий имидж, в широком масштабе.
Улучшение ИИ
Вероятно, у вас есть пара вопросов о последнем проекте платформы, например, как он работает? Ну, это сложно.
«GAN» в VideoGigaGAN означает генеративно-состязательную сеть, тип искусственного интеллекта, способный создавать реалистичные изображения. Версия Adobe основана на GigaGAN, которая специализируется на масштабировании. сгенерированный контент, а также реальные фотографии. Проблема с этой технологией, как TheVerge отмечает, что он не может улучшить качество видео без возникновения множества проблем, таких как странные артефакты. Чтобы решить эту проблему, исследователи Adobe использовали различные методы.
В исследовательской работе объясняется весь процесс. Вы можете прочитать его самостоятельно, чтобы получить полную картину, хотя это плотный материал. По сути, они представили «модуль распространения с управляемым потоком» для обеспечения согласованности кадров видео, сглаживание для уменьшения артефактов и «высокочастотный переключатель функций» для компенсации внезапных падений детализации. VideoGigaGAN — это нечто большее, чем то, что мы только что описали, но в этом и суть.
Потенциальное включение
Увидим ли мы это в новом продукте Adobe или выпустим как отдельное приложение? Скорее всего – по крайней мере, мы так думаем.
В прошлом году компания уделяла большое внимание внедрению искусственного интеллекта в свое программное обеспечение с момента запуска Firefly на Новый помощник Acrobat. Несколько месяцев назад во время Adobe MAX 2023 программа масштабирования видео называлась Project Res Up был предварительно представлен на мероприятии, и его производительность напоминает то, что мы видим в демо-версиях VideoGigaGAN. Старый фильм 1940-х годов переходит от разрешения изображения 480 x 360 к четкому разрешению 1280 x 960. Размытые кадры слона в реке становятся кристально четкими. Ведущий даже упоминает, как программное обеспечение может увеличить качество клипа в четыре раза по сравнению с исходным.
По общему признанию, это предположение, но вполне возможно, что VideoGigaGAN может быть двигателем Res-Up. Будущий продукт Adobe может дать людям возможность преобразовать старые семейные видео или кадры низкого качества в фильм, который мы представляем себе. Возможно, недавнее превью — намек на скорый релиз.
VideoGigaGAN все еще находится в стадии разработки, поэтому неизвестно, когда он выйдет и выйдет ли. На пути есть несколько препятствий. ИИ не может должным образом обрабатывать видео длиной более 200 кадров или отображать мелкие объекты, но мы обязательно будем следить за этим.
А пока ознакомьтесь со списком лучшие средства масштабирования изображений с помощью искусственного интеллекта на 2024 год.
Вам также может понравиться
- Последняя модель изображения Adobe Firefly выглядит как скачок поколений, и мне не терпится ее опробовать
- Новое видео OpenAI о Соре — это полет дрона с видом от первого лица через самое странное выступление TED, которое вы когда-либо видели – и мне нужно лечь
- Посмотрите: Adobe показывает, как Sora от OpenAI навсегда изменит Premiere Pro и редактирование видео
Оригинал