PolyThrottle: Энергоэффективный вывод нейронных сетей на периферийных устройствах: интенсивность арифметических вычислений
3 апреля 2024 г.:::информация Этот документ доступен на arxiv под лицензией CC BY-NC-ND 4.0 DEED.
Авторы:
(1) Минхао Ян, Университет Висконсин-Мэдисон;
(2) Хонги Ван, Университет Карнеги-Меллон;
(3) Шиварам Венкатараман, myan@cs.wisc.edu.
:::
Таблица ссылок
- Абстрактное и amp; Введение
- Мотивация
- Возможности
- Обзор архитектуры
- Формулировка задачи: двухфазная настройка
- Моделирование помех в рабочей нагрузке
- Эксперименты
- Выводы и amp; Ссылки
- А. Подробности об оборудовании
- Б. Результаты экспериментов
- C. Арифметическая интенсивность
- Д. Анализ предикторов
C АРИФМЕТИЧЕСКАЯ ИНТЕНСИВНОСТЬ
Арифметическая интенсивность 2D-слоя свертки может быть вычислена по следующему уравнению:
Обозначения, используемые в уравнении 1, можно найти в таблице 8.
Показатель FLOPs отражает общий объем вычислений каждой рабочей нагрузки, а термин арифметической интенсивности отражает, насколько вычислительная мощность и пропускная способность памяти повлияют на конечную производительность. Объединив вышеупомянутые функции с термином перехвата, который фиксирует фиксированные издержки при выводе нейронной сети, мы можем построить модель, которая предсказывает задержку вывода, если рабочая частота оборудования стабильна.
Оригинал