Openai дает своим агентам голос - теперь «средневековый рыцарь» может прочитать ваши рабочие электронные письма

OpenAI расширяет свою противоречивую конюшню из AI -голосов, чтобы включить агентские модели. Агентные модели являются горячим тенденцией в генеративном ИИ, позволяя двухэтапным процессам, таким как попросить искусственного интеллекта купить билеты на самолет или изменить заказ клиента. В частности, новые модели включают в себя:

GPT-4-Transcribe и GPT-4O-Mini-Transcribe, оба из которых являются моделями речи к тексту. GPT-4O-Mini-TTS, модель текста в речь.

Разработчики могут получить доступ к ним на API OpenAI и интегрировать их с агентами SDK. Добавление текста в речь и речь к тексту в API позволяет использовать их в различных приложениях ИИ, включая агентские инструменты.

Усовершенствованные синтетические голоса могут сделать мошенничество более убедительными

Компания хочет включить «более глубокое, более интуитивное взаимодействие с агентами за пределами простого текста», но добавление гибкости и большей автономии в голосовых моделях повышает вероятность более убедительных мошеннических ботов.

«Мы продолжаем участвовать в разговорах с политиками, исследователями, разработчиками и креативщиками, связанными с проблемами и возможностями, которые могут представить синтетические голоса», - говорится в пресс -релизе.

Смотри: есть немного денег? Вам понадобится для нового API Openai

Модели были настроены на точность, надежность и реализм

21 марта Openai выпустил новые звуковые инструменты речи в текст и текст в речь в API. Модели были настроены на точность и надежность, особенно в разговорах, включая «Акценты, шумные среды и различные скорости речи». Модели предназначены для центров вызовов клиентов или транскрибирования встреч.

Их также может быть дано указание говорить конкретно, от преднамеренного специфического до драматического или веселого. Openai представляет некоторые из этих моделей искусственного интеллекта, используемых для «выразительного повествования для творческого опыта рассказывания историй». Я могу представить, что это используется в тематических парках или театральных событиях - варианты использования, которые поднимают призрак, заменяющий творческие профессии. Пример Voices Openai предлагает включать в себя «Story перед сном», «Серфер», «True Crime Buff» и «Средневековый рыцарь».

GPT-4-Transcribe и GPT-4O-Mini Transcribe предназначены для более точной транскрибирования речи, особенно в разговорах с акцентами, фоновым шумом или различными скоростями речи.

GPT-4O-Mini-TTS может следовать инструкциям, чтобы соответствовать тону или принять персонажей. Openai старается отметить, что все голоса текста в речь на API являются «искусственными, предустановленными голосами»-определенно не Скарлетт Йоханссон, которая обвинила компанию в том, что она имитировала ее голос без согласия.

Агентное видео AI может быть в пути

Далее, Openai сказал, что разработчики смогут принести «пользовательские голоса» для «персонализированного опыта таким образом, чтобы соответствовать нашим стандартам безопасности». Компания также проводит способы использования видео в агентском опыте ИИ.