Microsoft Build 2023: Microsoft расширяет свои Copilots открытыми стандартными плагинами
26 мая 2023 г.Конференция разработчиков Microsoft Build приподняла завесу над тем, как разработчики хотят, чтобы разработчики добавляли настраиваемый контент и интеграцию приложений в свои приложения Copilot. Это подход, который должен сделать их более актуальными и с меньшей вероятностью сойти с рельсов, сосредоточив их результаты на конкретных задачах.
Важно понимать, что после обучения большая языковая модель, такая как GPT-4, нуждается в дополнительных данных, чтобы оставаться в фокусе. Вот почему различные Copilots от Microsoft создаются на основе собственных источников данных: GitHub, Power Platform, Microsoft Graph и, что наиболее очевидно, Bing. Это в основном успешный подход, который снижает риск галлюцинаций и переполнения подсказок, но он по-прежнему накладывает определенные Microsoft ограничения на платформу искусственного интеллекта.
В настоящее время второй пилот Bing может отвечать только на вопросы о поисковой базе данных Bing. И хотя это огромно, он не может ответить на вопросы о данных внутри брандмауэра пользователя или из приложений, которые они хотят использовать. Служба не может принимать эти ответы и передавать их другим приложениям, используя дополнительные результаты либо для форматирования вывода, либо для выполнения взаимодействия от имени пользователя. Пользователи могут попросить Bing Chat назвать лучшие рестораны в Новом Орлеане или дать им маршрут для трехдневной поездки, но он не забронирует им столик.
Перейти к:
- Добавление плагинов для помощи ИИ
Быстрое создание плагинов
Делаем плагины лучше
Преобразование существующих приложений Microsoft Teams в подключаемые модули
Добавление плагинов для помощи ИИ
Вот где могут помочь плагины, предоставляющие дополнительные источники данных и новые взаимодействия. Пользователи уже могут использовать плагины, созданные для ChatGPT, и Microsoft использует ту же архитектуру плагинов для своих новых плагинов Bing. Первоначально он предлагает поддержку OpenTable и Wolfram Alpha с плагинами от таких сервисов, как Expedia, Instacart, Zillow, TripAdvisor и других. Так, например, если кто-то использует плагин Instacart, он может быстро превратить меню из Bing в список покупок, а затем в заказ на доставку ингредиентов, которых нет в их шкафу. Забавно, что эти плагины будут включать один для самого ChatGPT.
Microsoft идет дальше: эта общая модель плагинов также используется для Microsoft 365 Copilot и инструментов искусственного интеллекта в браузере Microsoft Edge. Наличие общей модели для плагинов LLM имеет большой смысл. Это позволяет написать код один раз и повторно использовать во всех различных приложениях пользователей.
Работа со стандартной архитектурой подключаемых модулей позволяет пользователю предлагать свой код другим пользователям и организациям, поэтому, если он создал инструмент, который может интегрировать приложение Salesforce с Bing Chat, он может продавать его как продукт или сделать его открытым исходным кодом и поделиться им. это.
Быстрое создание плагинов
Так как же пользователи создают плагин ChatGPT? Плагины — это интерфейсы между существующими API-интерфейсами приложений и ChatGPT с манифестами и спецификациями OpenAPI для используемых ими API. Служба Bing Chat действует как инструмент оркестровки, вызывая API по мере необходимости и форматируя ответы с помощью инструментов естественного языка.
С помощью этих инструментов пользователи могут спросить: «Можете ли вы назвать мне все сделки, закрытые в первом квартале?» и пусть Bing Chat подключается к своей системе управления взаимоотношениями с клиентами и извлекает необходимую информацию из своих данных о продажах, отображая ее в виде ответа чата. Затем они могут продолжить, спросив, нужно ли им заказывать больше сырья, с помощью другого плагина, связанного с платформой планирования ресурсов предприятия, проверяя уровни запасов, а затем спрашивая, одобряют ли они заказ каких-либо необходимых материалов и компонентов.
Результатом здесь является поддержка пользователей, работающих с приложениями, которые они обычно используют, организация взаимодействия и превращение того, что может быть сложными задачами, в микроработу, что позволяет им более глубоко работать над другими задачами.
Создание расширений существующих определений API и стандартного формата определения должно упростить разработку. Если пользователь не создал определение OpenAPI для REST API, он может использовать такие инструменты, как Postman, для его автоматического создания. Поля описания определения OpenAPI могут помочь Bing или ChatGPT генерировать текст вокруг своих запросов и помочь им выбрать, какой API использовать. Результирующее определение плагина добавляется в приглашение LLM (скрыто от пользовательского интерфейса чата), но все еще учитывается в контексте и использует токены. Важно помнить, что плагины должны вызываться непосредственно пользователями; они доступны не для всех запросов.
Первое, что нужно сделать, это создать манифест для своего плагина в YAML или JSON. Пользователь будет размещать его самостоятельно в определенной папке в верхней части своего домена с заранее определенным именем, поэтому хосту GPT легко его найти. Полезно то, что спецификация плагина OpenAI включает способы обработки аутентификации, поэтому они могут гарантировать, что только аутентифицированные пользователи имеют доступ к внутренним API. Использование описаний OpenAPI позволяет пользователям ограничивать доступ GPT к аспектам своих API, поскольку они могут редактировать определение API, чтобы скрыть вызовы, которые им не нужны. Например, кто-то может разрешить чтение только в API, который имеет возможности обновления и удаления.
Делаем плагины лучше
Плагины не добавляют данные в Bing или ChatGPT; они добавляют направление и фокус его выходным данным, запускаются только по запросу пользователя и возвращают только данные, которые являются частью ответа на исходный запрос. Пользователям следует избегать возврата ответов на естественном языке — модель GPT будет генерировать собственные ответы на основе данных из их API.
Одной из полезных функций манифеста плагина является атрибут «описание модели», который позволяет пользователям уточнять приглашение, сгенерированное из описания API, предоставляя место для добавления дополнительных инструкций. Когда пользователи тестируют свой плагин, именно так они могут добавить дополнительный контроль над тем, как он используется. ChatGPT позволяет отлаживать плагины, показывая запросы и ответы, обычно в формате JSON. Это помогает им понять, какие данные из их приложений используются ИИ, если не точно, как они используются или как был сгенерирован первоначальный запрос.
Более сложные плагины могут работать с векторными базами данных для извлечения и использования документов. Этот подход, вероятно, лучше всего использовать для приложений, которым необходимо работать с хранилищами документов пользователя, которые могут быть предварительно обработаны с помощью вложений и проиндексированы с помощью векторного поиска, чтобы ускорить доступ к сложной бизнес-информации, которая может генерировать документы на основе ответов из других приложений. использование наиболее релевантного контента для структурирования любого сгенерированного текста.
Преобразование существующих приложений Microsoft Teams в подключаемые модули
Еще один интересный вариант — использование существующих расширений сообщений Teams с Microsoft 365 Copilot. Этот подход может упростить быстрое добавление ИИ к существующим ботам Teams, связывая веб-службы пользователя с Copilot через платформу бота. Здесь наиболее важно убедиться, что описание приложения и параметры навыков используются для создания приглашения Copilot LLM вместе с любыми запросами контента в расширении. Выходные данные доставляются в виде адаптивных карт, встроенных в сеансы чата. Существует даже возможность изменить расширение, чтобы сделать его полностью диалоговой системой, работающей по модели GPT-4, лежащей в основе большинства Microsoft Copilots.
Подход Microsoft к расширению Bing и других его Copilots на данный момент является хорошим. Это все еще первые дни генеративного ИИ, поэтому наличие стандартного формата плагинов имеет большой смысл, позволяя API поддерживать более одной платформы ИИ и уменьшая необходимость создавать один и тот же плагин много раз. Код, который работает с ChatGPT, будет работать в Bing Chat и Microsoft 365, а также везде, где Microsoft добавит функции Copilot в будущем.
Оригинал