Производитель самого большого в мире чипа совершил крупный прорыв в области искусственного интеллекта
23 июня 2022 г.Cerebras Systems, производитель самого большого в мире процессора, побил рекорд для самой сложной модели ИИ, обученной с использованием одного устройства.
Использование одного система CS-2, работающая на чипе размером с пластину (WSE-2), Cerebras теперь может для обучения моделей ИИ с использованием до 20 миллиардов параметров благодаря новым оптимизациям на уровне программного обеспечения.
Компания заявляет, что прорыв решит одну из самых неприятных проблем инженеров ИИ: необходимость разделения крупномасштабных моделей на тысячах GPU . В результате вы можете значительно сократить время, необходимое для разработки и обучения новых моделей.
Cerebras приносит ИИ в массы
В таких дисциплинах, как обработка естественного языка (NLP), производительность модели линейно коррелирует с количеством параметров. Другими словами, чем больше модель, тем лучше конечный результат.
Сегодня разработка крупномасштабных продуктов ИИ традиционно предполагает распространение модели на большое количество графических процессоров или ускорителей либо потому, что их слишком много, параметры должны быть размещены в памяти, или производительность вычислений недостаточна для обработки рабочих нагрузок обучения.< /p>
«Этот процесс болезненный и часто занимает месяцы, — объяснил Cerebras. Что еще хуже, процесс уникален для каждой пары сетевых вычислительных кластеров, поэтому работа не может быть перенесена на другие вычислительные кластеры или между нейронными сетями. Он полностью сделан на заказ».
Хотя наиболее сложные модели состоят из более чем 20 миллиардов параметров, возможность обучения относительно крупномасштабных моделей ИИ на одном CS-2 Устройство устраняет эти узкие места для многих, ускоряя разработку для существующих игроков и демократизируя доступ для тех, кто раньше не мог участвовать в пространстве.
«Способность Cerebra предлагать большие языковые модели в массы с экономичным и простым доступом открывает захватывающую новую эру в области искусственного интеллекта. Это дает организациям, которые не могут потратить десятки миллионов долларов, легкий и недорогой путь к НЛП высшей лиги», — сказал Дэн Олдс, главный научный сотрудник Intersect360 Research.
«Будет интересно посмотреть, новые приложения и открытия, которые делают клиенты CS-2, обучая модели классов GPT-3 и GPT-J на массивных наборах данных».
Более того, Cerebras намекнула, что ее система CS-2 может обрабатывать даже более крупные модели в будущем с «даже триллионами параметров». И тем временем объединение нескольких систем CS-2 может проложить путь к сетям ИИ, превышающим человеческий мозг.
Оригинал