Принесет ли ИИ гибель человечеству? Один из создателей ChatGPT считает, что вероятность 50%.
5 мая 2023 г.Исследователь, участвовавший в создании ChatGPT, предупредил, что ИИ вполне может привести человечество к гибели — или по крайней мере, вероятность того, что этот сценарий разыграется, составляет около 50%.
Business Insider сообщает, что Пол Кристиано, возглавлявший команду по выравниванию языковых моделей в OpenAI, но с тех пор покинул компанию и теперь возглавляет некоммерческий исследовательский центр выравнивания, сделал предупреждение в Bankless.
Во время интервью ведущие упомянули о перспективе «сценария гибели Элиезера Юдковского», при этом Юдковский был известным скептиком ИИ на протяжении многих лет (на самом деле пару десятилетий).
Кристиано сказал ведущим: «Элиэзер находится в этой чрезвычайно быстрой трансформации, когда вы разрабатываете ИИ. У меня немного меньше экстремального взгляда на это».
Затем он описывает более постепенный процесс повышения скорости с ускорением изменения ИИ и отмечает, что: «В целом, возможно, вы получаете больше шансов на гибель 50/50 вскоре после того, как у вас есть системы ИИ человеческого уровня. ”
Кристиано также сказал в подкасте, что в конечном итоге произойдет «что-то вроде 10-20% вероятности захвата власти ИИ», что приведет к довольно мрачному сценарию, когда многие (или даже большинство) людей мертвы. «Я отношусь к этому очень серьезно, — добавляет Кристиано. Ну, без шуток.
Миссия Центра исследований выравнивания состоит в том, чтобы «привести будущие системы машинного обучения [ИИ] в соответствие с интересами человека».
Doom Eternal?
Это еще одно из множества недавних предупреждений о том, как мир может в конечном итоге пострадать от ИИ. И, безусловно, один из самых экстремальных, учитывая разговоры о гибели человечества и почти полностью уничтоженном населении Земли.
Конечно, даже Кристиано не думает, что существует более чем относительно небольшая вероятность того, что произойдет последнее, но тем не менее 20% броска костей (наихудший сценарий) для враждебного захвата ИИ — это не та перспектива, которая кому-либо понравится.
Конечно, интересно, что любое поглощение ИИ должно быть враждебным. Можем ли мы не добиться развития продуманного и доброжелательного искусственного интеллекта, который действительно правит в наших интересах, хотя бы на этот раз? Ну нет. Любой ИИ может начать с добрых намерений, но они неизбежно сойдут с рельсов, и суждения в пользу «лучшего» в конечном итоге пойдут наперекосяк самым впечатляющим образом. Вы видели фильмы, да?
Со всей серьезностью сейчас делается вывод о том, что, хотя ИИ не очень умен — пока не как таковой, он, по сути, все еще большой (гигантский) пылесос данных, перемалывающий все эти данные и, по общему признанию, уже впечатляюще использующий указанный материал. – нам по-прежнему нужны руководящие принципы и правила как можно скорее, чтобы предотвратить любые потенциальные бедствия в будущем.
Эти бедствия могут принимать форму, например, нарушения конфиденциальности, а не конца света, каким мы его знаем (ТМ), но от них все равно нужно защищаться.
Самое последнее предупреждение об ИИ, сделанное экспертом, исходит от так называемого «Крестного отца ИИ», который только что ушел из Google. Джеффри Хинтон в общих чертах обрисовал широкие доводы против ИИ< /a>, или, по крайней мере, против его неконтролируемого и быстрого расширения, которое происходит сейчас, включая опасность того, что ИИ перехитрит нас гораздо быстрее, чем он ожидал. Не говоря уже об угрозе рабочим местам, которая уже вполне реальна. Это самая насущная опасность в ближайшей перспективе в нашей книге.
Это следует за открытым письмом с призывом приостановить разработку ChatGPT и других систем ИИ не менее чем на шесть месяцев, подписанную, в частности, Илоном Маском (у которого есть собственный ответ в виде ИИ, который он обещает: «вряд ли уничтожит людей").
Оригинал