OpenAI нанимает исследователей для борьбы со «сверхразумным» ИИ
8 июля 2023 г.OpenAI ищет исследователей для работы над сдерживанием сверхинтеллектуального искусственного интеллекта с другими ИИ. Конечная цель состоит в том, чтобы смягчить угрозу человекоподобного машинного интеллекта, который может быть или не быть научной фантастикой.
«Нам нужны научно-технические прорывы, чтобы управлять и контролировать системы ИИ, которые намного умнее нас», — написали в своем блоге руководитель отдела согласования OpenAI Ян Лейке и соучредитель и главный научный сотрудник Илья Суцкевер.
Перейти к:
- Команда OpenAI Superalignment сейчас набирает
Тренер по ИИ может держать в узде другие модели ИИ
Сверхразумный ИИ: реальность или научная фантастика?
Команда OpenAI Superalignment сейчас набирает
Команда Superalignment выделит 20% общей вычислительной мощности OpenAI на обучение так называемого исследователя автоматизированного выравнивания на уровне человека, чтобы поддерживать будущие продукты AI в соответствии. С этой целью новая группа Superalignment OpenAI нанимает инженера-исследователя, ученого-исследователя и менеджера по исследованиям.
OpenAI говорит, что ключом к управлению ИИ является выравнивание, или уверенность в том, что ИИ выполняет работу, которую задумал человек.
Компания также заявила, что одной из ее целей является контроль над «сверхразумом» или ИИ с возможностями, превышающими человеческие. Важно, чтобы этот гиперинтеллектуальный ИИ, выглядящий как научная фантастика, «следовал человеческим намерениям», — писали Лейке и Суцкевер. Они предвидят развитие сверхразумного ИИ в течение последнего десятилетия и хотят получить способ контролировать его в течение следующих четырех лет.
ПОСМОТРЕТЬ: Как создать политику этики для использования искусственного интеллекта в вашей организации (TechRepublic Premium)
«Отрадно, что OpenAI активно работает над тем, чтобы обеспечить союз таких систем с нашими [человеческими] ценностями», — сказала Хания Махмудян, глобальный специалист по этике ИИ в компании DataRobot, занимающейся разработкой программного обеспечения для ИИ и машинного обучения, и член Национального консультативного комитета США по ИИ. «Тем не менее, будущее использование и возможности этих систем остаются в значительной степени неизвестными. Проводя параллели с существующими развертываниями ИИ, становится ясно, что универсальный подход неприменим, а особенности внедрения и оценки системы будут различаться в зависимости от контекста использования».
Тренер по ИИ может держать в узде другие модели ИИ
Сегодня обучение ИИ требует большого участия человека. Лейке и Суцкевер предполагают, что будущая проблема для разработки ИИ может быть состязательной, а именно: «неспособность наших моделей успешно обнаруживать и подрывать контроль во время обучения».
Поэтому, говорят они, потребуется специализированный ИИ, чтобы обучить ИИ, который сможет перехитрить создавших его людей. Исследователь ИИ, который обучает другие модели ИИ, поможет OpenAI провести стресс-тестирование и переоценить весь процесс выравнивания компании.
Изменение способа выравнивания OpenAI включает в себя три основные цели:
- Создание ИИ, который помогает оценивать другие ИИ и понимать, как эти модели интерпретируют тот тип надзора, который обычно выполняет человек.
Автоматизация поиска проблемного поведения или внутренних данных в рамках ИИ.
Стресс-тестирование этого конвейера выравнивания путем преднамеренного создания «смещенного» ИИ, чтобы убедиться, что ИИ выравнивания может их обнаружить.
Персонал из предыдущей команды OpenAI по согласованию и других команд будет работать над Superalignment вместе с новыми сотрудниками. Создание новой команды отражает интерес Суцкевера к сверхразумному ИИ. Он планирует сделать Superalignment своим основным направлением исследований.
Сверхразумный ИИ: реальность или научная фантастика?
Вопрос о том, будет ли когда-либо существовать «сверхразум», является предметом споров.
OpenAI предлагает сверхразум как уровень выше, чем обобщенный интеллект, человекоподобный класс ИИ, который, по мнению некоторых исследователей, никогда не будет существовать. Тем не менее, некоторые исследователи Microsoft считают, что высокие баллы GPT-4 в стандартизированных тестах приближают его к порогу общего интеллекта.
Другие сомневаются, что интеллект действительно можно измерить с помощью стандартных тестов, или задаются вопросом, подходит ли сама идея обобщенного ИИ к философской, а не технической задаче. Большие языковые модели не могут интерпретировать язык «в контексте» и, следовательно, не приближаются к человеческому мышлению, как отмечается в исследовании Cohere для ИИ, проведенном в 2022 году. (Ни одно из этих исследований не рецензируется.)
«Опасения по поводу супер-ИИ на уровне исчезновения говорят о долгосрочных рисках, которые могут коренным образом изменить общество, и такие соображения необходимы для формирования приоритетов исследований, политики регулирования и долгосрочных мер безопасности», — сказал Махмудян. «Однако сосредоточение внимания исключительно на этих футуристических проблемах может непреднамеренно затмить насущные, более прагматичные этические проблемы, связанные с современными технологиями искусственного интеллекта».
Эти более прагматичные этические вопросы включают:
- Конфиденциальность
Справедливость
Прозрачность
Подотчетность
И потенциальная предвзятость в алгоритмах ИИ.
Она отметила, что они уже имеют отношение к тому, как люди используют ИИ в своей повседневной жизни.
«Крайне важно учитывать долгосрочные последствия и риски, одновременно решая конкретные этические проблемы, связанные с ИИ сегодня», — сказал Махмудян.
SEE: некоторые виды использования ИИ с высокой степенью риска могут быть охвачены законами, разрабатываемыми в Европейском парламенте. (ТехРеспублика)
OpenAI стремится опередить скорость разработки ИИ
OpenAI рассматривает угрозу сверхразума как возможную, но не неизбежную.
«У нас есть большая неопределенность в отношении скорости развития технологии в течение следующих нескольких лет, поэтому мы решили стремиться к более сложной цели, чтобы настроить гораздо более мощную систему», — написали Лейке и Суцкевер.
Они также отмечают, что повышение безопасности в существующих продуктах ИИ, таких как ChatGPT, является приоритетом, и что обсуждение безопасности ИИ должно также включать «риски от ИИ, такие как неправильное использование, экономический спад, дезинформация, предвзятость и дискриминация, зависимость и чрезмерная уверенность и другие». и «сопутствующие социотехнические проблемы».
«Согласование сверхразума — это, по сути, проблема машинного обучения, и мы думаем, что великие эксперты по машинному обучению — даже если они еще не работают над согласованием — будут иметь решающее значение для ее решения», — сказали Лейке и Суцкевер в своем блоге.
Оригинал