Apple работает над новым инструментом редактирования на базе искусственного интеллекта, и вы можете опробовать демо-версию прямо сейчас.
9 февраля 2024 г.Apple сообщает, что планирует внедрить функции генеративного искусственного интеллекта в iPhone позднее в этом году. Неизвестно, что это такое, однако недавно опубликованная исследовательская работа указывает на то, что один из них может быть новым типом программного обеспечения для редактирования, которое может изменять изображения с помощью текстовых подсказок.
Это называется MGIE, или MLLM-Guided (мультимодальная модель большого языка) Редактирование изображений. Эта технология является результатом сотрудничества между Apple и исследователями. из Калифорнийского университета в Санта-Барбаре. В документе говорится, что MGIE способна выполнять «[модификации] в стиле Photoshop», начиная от простых настроек, таких как обрезка, и заканчивая более сложными изменениями, такими как удаление объектов из изображения. Это стало возможным благодаря MLLM (мультимодальная модель большого языка), типу искусственного интеллекта, способному одновременно обрабатывать как «текст, так и изображения».
VentureBeat в своем отчете объясняет, что MLLM демонстрируют «замечательные возможности в понимании перекрестных моделей», хотя они не получили широкого распространения в программном обеспечении для редактирования изображений, несмотря на их предполагаемую эффективность.
Публичная демонстрация
Принцип работы MGIE довольно прост. Вы загружаете изображение в систему искусственного интеллекта и даете ему четкие и краткие инструкции по изменениям, которые вы хотите внести. VentureBeat говорит, что людям нужно будет «предоставить четкие рекомендации». Например, вы можете загрузить фотографию яркого солнечного дня и попросить MGIE «сделать небо более голубым». Цвет неба немного станет насыщеннее, но он может быть не таким ярким, как вам хотелось бы. Вам придется вести его дальше, чтобы получить желаемые результаты.
В настоящее время MGIE доступен на GitHub как проект с открытым исходным кодом. Исследователи предлагают «код, данные, [предварительно обученные модели]», а также блокнот, обучающий людей использованию ИИ для задач редактирования. Также имеется общедоступная веб-демонстрация о совместной технологии. платформа, обнимающая лицо. Получив доступ к этой демо-версии, мы решили опробовать искусственный интеллект Apple.
В нашем тесте мы загрузили изображение кошки, полученное от Unsplash, а затем попросили MGIE внести несколько изменений. И, по нашему опыту, все прошло хорошо. В одном случае мы сказали ему изменить фон с синего на красный. Однако вместо этого MGIE сделала фон более темным оттенком синего со статичной текстурой. С другой стороны, мы предложили движку добавить фиолетовый фон с ударами молний, и это создало нечто гораздо более динамичное.
Инклюзивность в будущих iPhone
На момент написания этой статьи вы могли столкнуться с длительной очередью при попытке создания контента. Если это не сработает, на странице «Обнимающее лицо» есть ссылка на тот же ИИ размещен на Gradio, который мы и использовали. Кажется, между ними нет никакой разницы.
Теперь вопрос: появится ли эта технология в будущем iPhone или iOS 18? Может быть. Как упоминалось в начале, генеральный директор компании Тим Кук сообщил инвесторам Инструменты искусственного интеллекта появятся на устройствах компании позже в этом году, но никаких подробностей не сообщается. Лично мы видим, как MGIE трансформируется в версию Magic Editor Google; функция, которая может полностью изменить содержимое изображения. Если вы прочитаете исследовательскую работу по arXiv, вам наверняка покажется, что Apple идет по этому пути со своим ИИ.
MGIE все еще находится в стадии разработки. Выходы не идеальны. На одном из примеров изображений видно, как котенок превращается в чудовище. Но мы ожидаем, что все ошибки будут устранены в дальнейшем. Если вы предпочитаете более практический подход, посетите TechRadar's руководство по лучшим фоторедакторам 2024 года.
Вам также может понравиться
- Обзор Apple Vision Pro: революция пространственных вычислений уже здесь, и мне это нравится
- Слухи о батарее iPhone 16 дразнят хорошие новости для Pro Max, но плохие новости для Plus
- Пока-пока, Бард! Google Gemini AI бросает вызов Microsoft Copilot с новым приложением для Android, которое вы можете попробовать прямо сейчас< /a>
Оригинал