PolyThrottle: Энергоэффективный анализ нейронных сетей на периферийных устройствах: анализ предикторов
machine-learning neural-networks polythrottle neural-network-inference edge-devices on-device-hardware fine-tuning nvidia-triton efficientnet

PolyThrottle: Энергоэффективный анализ нейронных сетей на периферийных устройствах: анализ предикторов

3 апреля 2024 г.

:::информация Этот документ доступен на arxiv под лицензией CC BY-NC-ND 4.0 DEED.

Авторы:

(1) Минхао Ян, Университет Висконсин-Мэдисон;

(2) Хонги Ван, Университет Карнеги-Меллон;

(3) Шиварам Венкатараман, myan@cs.wisc.edu.

:::

Таблица ссылок

D ПРЕДИКТОРНЫЙ АНАЛИЗ

Мы варьируем SLO задержки, чтобы оценить, как предиктор планирует запросы точной настройки. Мы воспроизводим 60-секундный поток, где изначально устанавливаем задержку SLO на 250 мс для первой половины (30 секунд), а затем увеличиваем ее до 700 мс для оставшейся части. Как показано на рисунке 14, в условиях жесткой задержки предиктор делает вывод, что нецелесообразно планировать запросы точной настройки с соблюдением SLO задержки, поэтому запросы точной настройки не планируются. И наоборот, когда SLO с задержкой более мягкий, предиктор определяет, что возможно запланировать запросы точной настройки, и последовательно планирует каждый запрос после завершения предыдущего и выдает сигнал завершения.

Figure 14. This figure shows the inference latency SLO and when fine-tuning requests are scheduled.

Оригинал

Recent Post

Categories

PREVIOUS ARTICLE
NEXT ARTICLE