Этот ИИ может взять ваш плохой набросок и превратить его в произведение искусства прямо на вашем телефоне.
20 июня 2023 г.Локальное и мобильное генерирование изображений ИИ может стать волной будущего.
Большинство из нас к настоящему времени немного побаловались созданием генеративных изображений. Мы вводим странную маленькую подсказку в текстовое поле и онлайн-платформу, например Стабильная диффузия, Midjourney или DALL-E выдает что-то красивое, причудливое или и то, и другое. У всех этих платформ есть одна общая черта — необходимость онлайн-соединения. Что, если бы был способ сделать подобное — а может быть, и лучше — создание генеративного ИИ-изображения, используя только телефон в руке и вообще без подключения к Интернету или облаку? Qualcomm считает, что у нее есть решение в виде сети ControlNet с совсем не пугающим названием.
Представленная на этой неделе на конференции по компьютерному зрению и распознаванию образов (CVPR) в Ванкувере, Канада, ControlNet — это новая мобильная Модель генерации изображений ИИ, которая имеет два существенных основных преимущества: 1) Модель является локальной, поэтому ControlNet может работать практически на любой платформе без необходимости онлайн-соединения. 2) Вместо того, чтобы использовать только текст для создания изображения AI, ControlNet начинает с исходного изображения, которое вы предоставляете, а затем манипулирует им на основе текстовой подсказки.
В некотором смысле это похоже на ИИ Adobe Firefly, который может генерировать фрагменты AI для улучшения существующих изображений. Однако для работы этой модели также требуется онлайн-соединение.
Внедрение этой модели с открытым исходным кодом, которая частично основана на Stable Diffusion, но добавляет дополнительные полмиллиарда параметров к существующему 1 миллиарду модели и может свободно использоваться сторонними компаниями, не является чистым альтруизмом. .
Конечно, ControlNet предположительно может работать на Windows, Mac, iOS и Android, но она не будет такой же быстрой, если не будет работать на платформе Qualcomm Snapdragon и, в частности, на цифровом сигнальном процессоре Hexagon (DSP) на платформе Qualcomm. мобильный процессор Snapdragon 8 Gen 2, такой же, как в Samsung Galaxy S23 Ultra.
В демонстрациях, которые я видел, ControlNet смогла превратить унылое офисное пространство в тематику 1970-х годов с оранжевыми стенами, а затем превратить улицы Барселоны в текущие каналы. Изображение офиса было ошеломляющим своей точностью. Барселонский был похож на работу лихорадочного Ван Гога.
ControlNet выполняет свою работу, беря основные формы и структуры, которые он находит на изображениях, и обрисовывая их. Тем не менее, скорость и качество вывода означают, что сторонние разработчики аппаратного и программного обеспечения наверняка заинтересуются. Особенно из-за очевидных преимуществ локальных вычислений (что, как известно, Apple уже отдает предпочтение большей части своей работы с ИИ).
ControlNet не обязательно нуждается в полноформатных фотографиях для создания новых или измененных изображений. Даже грубый набросок и текстовая подсказка могут дать что-то интересное и, возможно, полезное. На одном демонстрационном изображении, предоставленном Qualcomm, они показывают грубый набросок котенка, превращенного в сюрреалистического кота, который каким-то образом все еще напоминает оригинальный рисунок.
При локальном создании ИИ ваше исходное исходное изображение не передается обратно в облако, а приглашение не передается третьим лицам и не хранится на удаленных серверах. Как и предпочло бы большинство защитников конфиденциальности, это замкнутый цикл.
Qualcomm выпускает SDK ControlNet для разработчиков, которые хотят начать программировать и тестировать на Hexagon. Что касается того, кто в будущем может представить продукты на базе ControlNet, сказать трудно. Qualcomm этого не сделает, потому что она ничего не продает потребителям напрямую.
Тем не менее, давний партнер Samsung — реальная возможность. Представьте себе Samsung Galaxy S24 или S25 Ultra со встроенным приложением на основе ControlNet. Или, возможно, Samsung встраивает его прямо в свое приложение для фото или камеры. Что бы это ни стоило, демонстрация, которую я видел, работала на Samsung Galaxy S23 Ultra.
Оригинал