PolyThrottle: энергоэффективный анализ нейронных сетей на периферийных устройствах: сведения об оборудовании
machine-learning neural-networks polythrottle neural-network-inference edge-devices on-device-hardware fine-tuning nvidia-triton efficientnet

PolyThrottle: энергоэффективный анализ нейронных сетей на периферийных устройствах: сведения об оборудовании

3 апреля 2024 г.

:::информация Этот документ доступен на arxiv под лицензией CC BY-NC-ND 4.0 DEED.

Авторы:

(1) Минхао Ян, Университет Висконсин-Мэдисон;

(2) Хонги Ван, Университет Карнеги-Меллон;

(3) Шиварам Венкатараман, myan@cs.wisc.edu.

:::

Таблица ссылок

ДЕТАЛИ ОБОРУДОВАНИЯ

A.1 Подробности о платформе Jetson

Комплект разработчика Jetson TX2 включает 256-ядерный графический процессор NVIDIA Pascal, двухъядерный 64-битный процессор NVIDIA Denver 2, четырехъядерный процессор ARM Cortex-A57 MPCore и 8 ГБ 128-битной памяти LPDDR4 с 59,7 битами. Пропускная способность ГБ/с. Максимальная потребляемая мощность комплекта составляет 15 Вт. Комплект разработчика Jetson Orin включает 2048-ядерный графический процессор NVIDIA Ampere с 64 тензорными ядрами и 12-ядерный процессор Arm. Этот комплект поставляется с 32 ГБ 256-битной памяти LPDDR5 с пропускной способностью 204,8 ГБ/с и максимальным энергопотреблением 60 Вт.

A.2 Измерение энергопотребления

Комплект разработчика Nvidia Jetson TX2 позволяет проводить отдельные измерения графического процессора, процессора, памяти DDR и общего энергопотребления, а Jetson Orin использует встроенный модуль tegrastats для измерения энергопотребления аппаратных компонентов. Из-за ограничений конструкции шины питания энергопотребление графического процессора Jetson Orin можно измерить только вместе с энергопотреблением SoC.

В Jetson TX2 мы измеряем энергопотребление, запрашивая общую потребляемую мощность. Затем мы усредняем пиковое энергопотребление, чтобы получить энергопотребление во время вывода. Затем мы вычисляем стоимость энергии для каждого запроса вывода путем умножения мощности и времени вывода. В Jetson Orin мы используем существующий инструмент tegrastats и неоднократно запрашиваем tegrastats через фиксированный интервал (50 мс). Затем мы суммируем энергопотребление каждого компонента, чтобы получить общее энергопотребление, а затем умножаем мощность и время вывода, чтобы получить стоимость энергии для каждого запроса вывода. Чтобы получить стабильные показания, мы отправляем 1000 запросов на логические выводы для каждой конфигурации оборудования для каждой тестируемой модели.

Мы проверяем наши измерения с помощью цифрового мультиметра USB, способного передавать данные в компьютерное программное обеспечение в режиме реального времени через Bluetooth. Измерения, полученные с помощью мультиметра, обычно совпадают с измерениями на внутренних шинах питания комплектов Jetson, хотя внешние измерения постоянно примерно на 10 % превышают внутренние измерения Jetson. Это несоответствие может быть связано с неучтенными факторами в конструкции шины питания. Мы решили использовать внутренние измерения, поскольку они дают показания для конкретных компонентов, тогда как мультиметр может измерять только общее энергопотребление. Более того, мультиметр поддерживает одно измерение в секунду, а инструменты Jetson позволяют проводить измерения в миллисекундах, что лучше подходит для задач вывода.

A.3 Накладные расходы на измерение

Поскольку мы неоднократно запрашиваем входную мощность или встроенный инструмент управления питанием, мы хотим понять, влияют ли эти запросы на общее потребление энергии. Мы используем цифровой мультиметр USB, способный передавать данные в компьютерное программное обеспечение в режиме реального времени через Bluetooth. Затем мы запускаем нашу программу вывода с запросом входной мощности или инструмента управления питанием и без него. Мы обнаружили, что потребляемая мощность, сообщаемая мультиметром, увеличивается примерно на 5 → 10%, в зависимости от базового энергопотребления. Мы наблюдаем, что этот прирост почти постоянен для разных моделей и прогонов, и поэтому мы считаем, что использование внутренних измерений, как описано в разделе выше, не повлияет на наши результаты. Мультиметр не может обеспечить точность и гибкость, необходимые для измерения энергетических затрат на вывод, который часто работает в миллисекундном масштабе.

Оригинал

Recent Post

Categories

PREVIOUS ARTICLE
NEXT ARTICLE