Что нового в ИИ, часть 1: изучение генеративного ИИ с Дэном Джеффрисом
13 июня 2023 г.Что нового в ИИ? Это может показаться спорным вопросом для домена, который двигался очень быстро и ежедневно появлялся в новостях в течение последних нескольких месяцев. Однако именно это делает его актуальным.
Если сформулировать этот вопрос по-другому, он может звучать так: когда вы тонете в информационной перегрузке, как вы отделяете зерна от плевел? Это то, о чем мы задались вопросом, когда в конце 2022 года встретились с О’Рейли, чтобы обсудить новую серию мероприятий, посвященных наиболее актуальным разработкам в области искусственного интеллекта.
В разделе «Что нового в ИИ" мы общаемся с ведущими специалистами в этой области по темам. такие как генеративный ИИ, большие языковые модели, ответственный ИИ, аппаратное обеспечение ИИ и другие разработки по мере их появления. Поскольку первое событие в этой серии уже позади, а второе быстро приближается, самое время подвести итоги и сделать предварительный просмотр соответственно.
Расширенное машинное обучение — это слишком низкий уровень, слишком сложно, слишком дорого
Нашей первой темой раздела «Что нового в ИИ» был генеративный ИИ. Поскольку эти мероприятия планируются за несколько месяцев вперед, часть проблемы заключается в поиске тем, которые будут актуальны во время проведения мероприятия. В области, которая движется так быстро, как ИИ, это не данность. В этом отношении генеративный ИИ казался беспроигрышным вариантом, и Дэн Джеффрис также казался идеальным гостем.
Дэн Джеффрис — управляющий директор AI Infrastructure Alliance, и у нас был очень интересный разговор о AI ранее. Джеффрис также является бывшим ИТ-директором Stability AI, компании, стоящей за Stable Diffusion. Ключевое слово здесь — «бывший», поскольку Джеффрис ушел из Stability AI за несколько дней до запланированного разговора.
Мы этого не предвидели, но, к счастью, это не испортило мероприятие. Мы соединили и затронули широкий круг тем на массово посещаемом мероприятии. Джеффрис называет себя писателем, футуристом, инженером и системным архитектором. Его позиция в отношении машинного обучения и искусственного интеллекта чрезвычайно положительна.
Как объяснил Джеффрис, он следил за Stable Diffusion с самого начала. Несмотря на то, что поначалу Stable Diffusion не впечатляла, Джеффрис рассказал, что сразу понял ее потенциал. Он решил принять участие, как только увидел то, что назвал "большим скачком в возможностях".
«Я понял, что атомная бомба, по сути, вот-вот взорвется, что это будет массовый сдвиг в отрасли, и я хотел быть частью этого. И я думаю, что это произошло. Когда вышла Stable Diffusion, это был просто огромный взрыв. И после этого он стал катализатором ИИ», — сказал Джеффрис.
Далее Джеффрис утверждал, что такие модели, как Stable Diffusion, были одной из причин, по которым OpenAI решила выпустить ChatGPT, когда они это сделали, поскольку они не хотели остаться позади. В то же время Джеффрис признал, что многие компании, занимающиеся ИИ, не достигли цели. Причина, по его словам, заключается в фундаментальном недоразумении:
<цитата>«Мы немного ошиблись в своих размышлениях. Мы думали, что в каждой компании будут сотни специалистов по данным, занимающихся передовым машинным обучением, но так не получится. Правда в том, что это слишком низкий уровень, слишком сложно, слишком дорого. И с точки зрения людей, и с точки зрения вычислений большинство людей никогда не будут работать на таком уровне».
По мнению Джеффриса, ИИ, скорее всего, сработает, если разные организации внесут свой вклад в стек с открытым исходным кодом, на который другие организации смогут опираться. Что-то вроде эквивалента стека LAMP для ИИ< /а>.
Продукты на базе ИИ, угрозы и возможности
Однако стоит признать, что собирать стеки вместе или даже использовать их тоже не всем по плечу. Вот почему открытый исходный код не обязательно означает «сделай сам», и как создатели, так и третьи стороны могут предложить дополнительные услуги. Этот паттерн уже проигрывался в открытом исходном коде, от WordPress до баз данных и операционных систем, и вполне может проявиться в ИИ.
Джеффрис упомянул такие имена, как Google или Microsoft, чтобы показать, как можно интегрировать модели больших языков (LLM) в продукты и услуги. Однако здесь таится неотъемлемая опасность. Поскольку искусственный интеллект зависит от данных, использование готовых решений для крупных технологий может не дать наилучших результатов в среднесрочной и долгосрочной перспективе.
Это означало бы больше данных и больше мощности для поставщиков услуг и меньше контроля для пользователей. Джеффрис знает об этом, поэтому он рекомендует стеки с открытым исходным кодом для ИИ и графы личных знаний для суверенитета данных. Открытый исходный код в конце концов побеждает, но в начале вы всегда видите проприетарные сервисы — так он резюмировал свою позицию.
Джеффрис также является сторонником подхода «невмешательства» к ИИ. Его аргумент заключается в том, что на самом деле невозможно предвидеть проблемы, и единственный способ справиться с ними — это развернуть системы искусственного интеллекта, посмотреть, что произойдет, а затем применить средства правовой защиты. Что касается плохих актеров, то они будут пойманы и наказаны.
Еще одна тема для обсуждения касалась ценности контента, который снижается, с чем Джеффрис в целом не согласен. Он считает, что так же, как WordPress упростил публикацию веб-сайтов для всех, генеративный ИИ упростит публикацию контента для всех, и это хорошо.
Это пункты, в которых наши взгляды существенно расходятся. Я обнаружил, что на самом деле между ними есть некоторое совпадение с точки зрения контента, созданного ИИ. Снижение планки производства контента — это уже ведет к «эншиттификации» контента, искажению способностей людей как производителей контента, одновременно перегружая потребителей контента и делает их восприимчивыми к сфабрикованному контенту — вольно или невольно.
Я понимаю, что лучшим способом решения этой проблемы было бы лучшее медиаобразование и развитие критических способностей. Но я также болезненно осознаю дефицит, который у нас есть в этих областях в настоящее время, время, необходимое для их развития, и отсутствие стимулов для этого.
Я также не думаю, что наличие программного обеспечения, которое помогает публиковать контент, сравнимо с наличием программного обеспечения, которое генерирует контент, который вы публикуете. Первый похож на печатный станок, помогая людям распространять свое сообщение. Последний подобен писателю-призраку, зарабатывая людям доверие, которого они не полностью заслуживают. И это даже не касается проблемы с авторскими правами.
Бизнес-модели, проблемы стабильного ИИ и практические советы
В чем мы с Джеффрисом согласны, так это в важности бизнес-моделей. Джеффрис говорил о важности наличия четко определенной бизнес-модели с самого начала. «Многие компании рассматривают такие вещи, как «ну, мы просто собираемся провести исследование или мы просто собираемся обучить модель, и это неэффективный способ создания продукта», — сказал Джеффрис.< /p>
Джеффрис специально не нацеливал это замечание на Stability AI. Но он сказал, что, хотя он ценит работу Stability AI, причиной его ухода было расхождение на пути вперед. Глядя на сообщения о проблемах со стабильностью ИИ, несмотря на сенсационно-сенсационным тоном, в котором они могут быть представлены, можно предположить, как будет развиваться история со Stability AI. и окажется ли Джеффрис прав или нет.
В любом случае, ничто из этого не было предметом разговора. Хотя мы затронули темы общего интереса, около половины мероприятия было посвящено творческому использованию Stable Diffusion. Это была не просто теория. Джеффрис предоставил примеры и практические советы, начиная от использования Stable Diffusion, включая пользовательские интерфейсы, параметры и тонкую настройку, и заканчивая обучением генеративных моделей ИИ.
Это было идеальное введение в серию «Что нового в ИИ». запись доступна на O'Reilly. больше информации.
Далее: оценка модели большого языка, надежность и интерпретируемость
Следующим в серии "Что нового в искусственном интеллекте" будет мероприятие, посвященное оценке, надежности и интерпретируемости большой языковой модели (LLM), организованное Назнин Раджани. Раджани возглавляет исследовательскую компанию Hugging Face, руководя направлением надежных исследований в области машинного обучения. Ранее она возглавляла группу исследователей, специализирующихся на создание надежных систем генерации естественного языка на основе LLM в Salesforce Research.
LLM произвели революцию в области искусственного интеллекта, задействовав передовые приложения для таких задач, как обработка текста, машинный перевод и генерация текста. Мы расскажем о постоянно меняющемся ландшафте LLM, уделяя особое внимание открытому исходному коду, и познакомим вас с такими методами, как Red Teaming, обучение с подкреплением на основе отзывов людей и точная настройка инструкций.
:::информация Также опубликовано здесь.
:::
Оригинал