Петрин Д.А.,
магистр кафедры «Программное обеспечение ЭВМ, информационные технологии», Калужский филиал федерального государственного бюджетного образовательного учреждения высшего образования «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)», Калуга, dapetrin98@yandex.ru

Белов Ю.С.,
кандидат физико-математических наук, доцент кафедры «Программное обеспечение ЭВМ, информационные технологии», Калужский филиал федерального государственного бюджетного образовательного учреждения высшего образования «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)», Калуга, iu4-kf@mail.rux

Козина А.В.,
аспирант кафедры «Программное обеспечение ЭВМ, информационные технологии», Калужский филиал федерального государственного бюджетного образовательного учреждения высшего образования «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)», Калуга, anastasiya_kozin@list.ru

Оптимизация
моделей глубокого обучения на основе GPU

В данной статье рассматриваются оптимизации логического вывода обученных моделей на GPU, а также сравнительные характеристики производительности без и с использованием TensorRT

Введение

В наши дни ускорение моделей глубокого обучения похоже на погоню за движущейся целью [1]. По мере того как модели становятся все более универсальными и точными, их требования к вычислительным ресурсам и памяти стремительно растут [2, 3] и, вполне возможно, опередят улучшения в ресурсах и производительности графических процессоров. Так, например, 100 эпох обучения ResNet50 на наборе данных ImageNet на одном графическом процессоре NVIDIA Tesla M40 занимают 14 дней. Чтобы сократить время обучения, исследователи используют кластеры с сотнями подобных графических процессоров [4, 5]. Точно так же во время логического вывода (inference) серьезной проблемой является достижение целевых значений задержки (особенно для приложений, работающих в реальном времени) при высокой степени повторного использования, пропускной способности и точности.

<...>

Полную версию статьи читайте в журнале
Подпишитесь на журнал
Купите в Интернет-магазине

Комментарии могут оставлять только зарегистрированные пользователи