PolyThrottle: Энергоэффективный анализ нейронных сетей на периферийных устройствах: анализ предикторов
3 апреля 2024 г.:::информация Этот документ доступен на arxiv под лицензией CC BY-NC-ND 4.0 DEED.
Авторы:
(1) Минхао Ян, Университет Висконсин-Мэдисон;
(2) Хонги Ван, Университет Карнеги-Меллон;
(3) Шиварам Венкатараман, myan@cs.wisc.edu.
:::
Таблица ссылок
- Абстрактное и amp; Введение
- Мотивация
- Возможности
- Обзор архитектуры
- Формулировка задачи: двухфазная настройка
- Моделирование помех в рабочей нагрузке
- Эксперименты
- Выводы и amp; Ссылки
- А. Подробности об оборудовании
- Б. Результаты экспериментов
- C. Арифметическая интенсивность
- Д. Анализ предикторов
D ПРЕДИКТОРНЫЙ АНАЛИЗ
Мы варьируем SLO задержки, чтобы оценить, как предиктор планирует запросы точной настройки. Мы воспроизводим 60-секундный поток, где изначально устанавливаем задержку SLO на 250 мс для первой половины (30 секунд), а затем увеличиваем ее до 700 мс для оставшейся части. Как показано на рисунке 14, в условиях жесткой задержки предиктор делает вывод, что нецелесообразно планировать запросы точной настройки с соблюдением SLO задержки, поэтому запросы точной настройки не планируются. И наоборот, когда SLO с задержкой более мягкий, предиктор определяет, что возможно запланировать запросы точной настройки, и последовательно планирует каждый запрос после завершения предыдущего и выдает сигнал завершения.
Оригинал