AWS запускает новые инстансы для ускоренного обучения ИИ

Amazon Web Services (AWS) запустила инстансы EC2, специально оптимизированные для обучения глубокому обучению.

Новые инстансы Amazon EC2 Trn1 работают на базе чипов AWS Trainium — чипа машинного обучения второго поколения. от AWS на основе чипов AWS Inferentia.

облако гигант утверждает, что эти новые экземпляры хорошо подходят для крупномасштабного распределенного обучения сложным моделям глубокого обучения, таким как обработка естественного языка и распознавание изображений.

Что получают пользователи?

Инстансы Trn1 доступны в двух конфигурациях и оснащены до 16 чипами AWS Trainium со 128 виртуальными ЦП.

Очевидно, что инстансы предлагают до 512 ГБ памяти с высокой пропускной способностью и обеспечивают до 3,4 петафлопс вычислительной мощности TF32/FP16/BF16, а также имеют соединение NeuronLink между чипами. NeuronLink помогает избежать узких мест при обмене данными при масштабировании рабочих нагрузок между несколькими чипами Trainium.

Кроме того, Amazon заявляет, что инстансы Trn1 — это первые инстансы EC2, обеспечивающие пропускную способность сети Elastic Fabric Adapter (EFA) до 800 Гбит/с для высокой производительности. пропускная способность сети связи. Кроме того, инстансы Trn1 поставляются с локальным хранилищем NVMe SSD емкостью до 8 ТБ для сверхбыстрого доступа к большим наборам данных.

Компания AWS также сообщила, что ее чипы Trainium включают специальные скалярные, векторные и тензорные механизмы, специально созданные для этой цели. для алгоритмов глубокого обучения.

Другие новые функции чипов Trainium включают поддержку широкого спектра типов данных, включая FP32, TF32, BF16, FP16 и UINT8, стохастическое округление, а также пользовательские операторы, написанные на C++, и динамические тензорные формы. .

AWS Trainium использует тот же SDK AWS Neuron, что и AWS Inferentia, что может переход на AWS Trainium проще.

Где я могу зарегистрироваться?