Apple работает над запуском искусственного интеллекта на iPhone и iPad

Apple выпустила две исследовательские работы, расширяющие возможности генеративного искусственного интеллекта. В одной статье решается проблема, которая не позволяла запускать большие языковые модели на определенных устройствах с ограниченной динамической оперативной памятью. В документе не упоминаются iPhone и iPad, но вполне вероятно, что Apple попытается реализовать эту технику на своих собственных устройствах.

Во второй статье описывается «Human Gaussian Splats» — метод создания 3D-аватаров из видеороликов с одной камеры, который можно использовать для создания аватаров для виртуальных встреч или для того, чтобы позволить потребителям примерить одежду перед покупкой ее в интернет-магазинах.

Перейти к:

Сочетание модели затрат LLM с флэш-памятью Человеческие гауссовы знаки создают реалистичные 3D-аватары Прогресс Apple в сфере генеративного искусственного интеллекта

Сочетание модели затрат LLM с флэш-памятью

Поскольку все больше и больше компаний работают над добавлением возможностей LLM в приложения, им необходимо, чтобы эти приложения работали на устройствах изначально. Проблема заключалась в том, что «интенсивные требования к вычислениям и памяти LLM создают проблемы, особенно для устройств с ограниченной емкостью DRAM», пишут исследователи Apple в статье «LLM в мгновение ока: эффективный вывод модели большого языка с ограниченной памятью».

Исследователи обнаружили, что они могут запускать LLM, которым требуется в два раза больше, чем доступно DRAM, сохраняя LLM во флэш-памяти, используя два метода, которые исследователи назвали «оконным» и «объединением строк и столбцов». Благодаря оконной обработке потребность в DRAM снижается, поскольку процессы выполняются на повторно используемых цифровых нейронах, а не на новых цифровых нейронах. Объединение строк и столбцов увеличивает объем данных, считываемых из флэш-памяти.

СМОТРИТЕ: вот все, что вам нужно знать об iOS 17 (TechRepublic)

Оба эти метода имеют решающее значение для «построения модели стоимости вывода, которая гармонирует с поведением флэш-памяти, помогая нам оптимизировать в двух критических областях: уменьшение объема данных, передаваемых из флэш-памяти, и чтение данных более крупными и смежными фрагментами», — заявили в компании. исследователи написали.

Варианты бизнес-использования для более эффективной работы LLM с DRAM

Эта разработка может распространиться как на бизнес-сценарии использования, так и на потребительские, поскольку она позволит LLM работать на небольших устройствах с ограниченной памятью, периферийных или выездных сервисных устройствах. Исследователи заявляют, что их работа «создает прецедент» для дальнейших исследований; это исследование может включать оптимизацию генеративного ИИ для относительно небольших устройств и наоборот. В частности, Apple может облегчить запуск генеративного искусственного интеллекта на iPhone и iPad.

Человеческие гауссовы знаки создают реалистичные 3D-аватары

Вторая статья, написанная исследователями из Apple, Института интеллектуальных систем Макса Планка и ETH Zurich, описывает метод создания 3D-аватаров. Исследователи начали с короткого видео, снятого одной камерой, и на его основе создали 3D-аватар с помощью системы нейронного рендеринга под названием Human Gaussian Splats. Предыдущее преобразование видео в 3D, подобное тому, которое использовалось в некоторых фильмах, требовало использования нескольких камер, больших вычислительных мощностей и человеческих усилий.

Используя 50–100 кадров видео, Human Gaussian Splats может создавать совершенно новые позы и движения для аватара. Система нейронного рендеринга является генеративной, поскольку она «заполняет» части человеческого тела, которые, возможно, не были полностью запечатлены в видео.

Возможные варианты использования в бизнесе возможностей преобразования видео в аватар

Исследователи предлагают широкий спектр вариантов использования своих аватаров, включая «AR/VR, визуальные эффекты, визуальную примерку (и) производство фильмов». Хотя виртуальные аватары для деловых встреч, подобные предложенным Meta, не пользуются популярностью, ритейлеры продолжают экспериментировать, позволяя покупателям заходить в виртуальную раздевалку и видеть одежду на своем теле. Создание 3D-аватаров более эффективно и с меньшими вычислительными мощностями может облегчить этот процесс.

Прогресс Apple в сфере генеративного искусственного интеллекта

Оба документа показывают, что, хотя сегодня у Apple нет таких известных продуктов генеративного ИИ, как Copilot от Microsoft или ChatGPT от OpenAI, Apple по-прежнему участвует в сфере генеративного ИИ. Эти результаты в конечном итоге могут быть включены в Siri, голосовой помощник Apple, который устанавливается на ноутбуки, планшеты и телефоны.

Примечание. Apple не ответила на запрос TechRepublic о комментариях.