Как только мы подумали, что мы в безопасности, ChatGPT приходит на наши видеокарты
2 марта 2023 г.Кажется, в наши дни все говорят о ChatGPT благодаря Microsoft Bing, но, учитывая природу больших языковых моделей (LLM), геймеру будет прощено, если он почувствует определенное дежа вю.
Видите ли, хотя LLM работают на огромных облачных серверах, они используют специальные графические процессоры для выполнения всего необходимого обучения. Обычно это означает подачу совершенно неприличного количества данных через нейронные сети, работающие на массиве графических процессоров со сложными тензорными ядрами, и это требует не только большой мощности, но и большого количества реальных графических процессоров для работы в масштабе.
Это очень похоже на криптомайнинг, но это не так. Криптомайнинг не имеет ничего общего с алгоритмами машинного обучения, и, в отличие от машинного обучения, единственная ценность криптомайнинга заключается в производстве весьма спекулятивного цифрового товара, называемого токеном, который, по мнению некоторых людей, чего-то стоит и поэтому готов тратить на него реальные деньги.
Это привело к криптопузырю, который привел к нехватке графических процессоров за последние два года, когда криптомайнеры скупили все видеокарты Nvidia Ampere с 2020 по 2022 год, оставив геймеров в дураках. Этот пузырь лопнул, и акции GPU стабилизировались.
Но с подъемом ChatGPT мы увидим повторение последних двух лет? Это маловероятно, но и не исключено.
Ваша видеокарта не предназначена для работы с основными LLM
Хотя вы можете подумать, что лучшая видеокарта, которую вы можете купить, может будь то, что типы машинного обучения могли бы захотеть для своих настроек, вы бы ошиблись. Если вы не учитесь в университете и не исследуете алгоритмы машинного обучения, потребительской видеокарты будет недостаточно для управления нужным вам алгоритмом.
Большинство LLM и других моделей генеративного ИИ, создающих изображения или музыку, действительно делают акцент на первом L: Большой. ChatGPT обработал непостижимо большой объем текста, и потребительский графический процессор на самом деле не настолько подходит для этой задачи, как промышленные графические процессоры, работающие в инфраструктуре серверного класса.
Это графические процессоры, которые будут пользоваться большим спросом, и это то, что Nvidia так взволновало ChatGPT: не то, что ChatGPT поможет людям, а то, что для его запуска потребуются практически все графические процессоры Nvidia серверного уровня. , что означает, что Nvidia собирается заработать на волнении ChatGPT.
Следующий ChatGPT будет работать в облаке, не на локальном оборудовании
Если вы не Google или Microsoft, вы не используете собственную инфраструктуру LLM. Вы используете чужие облачные сервисы. Это означает, что у вас не будет группы стартапов, скупающих все видеокарты для разработки собственных LLM.
Скорее всего, мы увидим LLMaaS, или Большие языковые модели как услугу. У вас будут центры обработки данных Microsoft Azure или Amazon Web Services с огромными фермами серверов, полными графических процессоров, готовых к аренде для ваших алгоритмов машинного обучения. Это то, что любят стартапы. Они ненавидят покупать оборудование, кроме стола для пинг-понга или кресла-мешка.
Это означает, что по мере распространения ChatGPT и других моделей ИИ они не будут работать локально на потребительском оборудовании, даже если люди, работающие с ними, представляют собой небольшую группу разработчиков. Они будут работать на серверном оборудовании, поэтому никто не придет за вашей видеокартой.
Геймеры еще не вышли из леса
Значит, тогда не о чем беспокоиться? Хорошо...
Дело в том, что, хотя ваша RTX 4090 может быть в безопасности, возникает вопрос, сколько RTX 5090 выпустит Nvidia, когда в ее распоряжении будет лишь ограниченное количество кремния, и использование этого кремния для графических процессоров серверного уровня может быть значительно более прибыльным, чем использовать его для видеокарты GeForce?
Если и есть чего опасаться в связи с подъемом ChatGPT, так это перспективы того, что будет производиться меньше потребительских графических процессоров, потому что акционеры требуют производить больше графических процессоров серверного уровня для максимизации прибыли. Это также не пустая угроза, поскольку правила капитализма в настоящее время написаны так, что компании часто обязаны делать все, что максимизирует прибыль акционеров, а облако всегда будет более прибыльным, чем продажа видеокарт геймерам.
С другой стороны, это действительно дело Nvidia. Team Green может пойти ва-банк на серверных графических процессорах с уменьшенным запасом потребительских видеокарт, но они не единственные, кто производит видеокарты.
Видеокарты AMD RDNA 3 только что представили оборудование для искусственного интеллекта, но оно не имеет ничего общего с тензорными ядрами в картах Nvidia, что делает Nvidia де-факто выбором для использования в машинном обучении. Это означает, что AMD может стать производителем карт по умолчанию для геймеров, в то время как Nvidia переключится на что-то другое.
Это определенно возможно, и, в отличие от криптографии, AMD вряд ли будет картой LLM второго класса, которая по-прежнему хороша для LLM, если вы не можете получить карту Nvidia. AMD на самом деле вообще не приспособлена для машинного обучения, особенно на том уровне, который требуется LLM, поэтому AMD здесь просто не играет роли. Это означает, что для геймеров всегда будут видеокарты потребительского уровня, причем хорошие, просто карт Nvidia может быть не так много, как раньше.
Сторонникам Team Green такое будущее может не понравиться, но оно наиболее вероятно, учитывая появление ChatGPT.
Оригинал