Энергоэффективный многопроцессорный аппаратно-программный комплекс для ЦОД

 ЮРИЙ ЛЕОХИН, д.т.н., профессор МИЭМ НИУ ВШЭ, (495) 916-88-98 (8-98), yleokhin@hse.ru

 ИГОРЬ ДВОРЕЦКИЙ, научный сотрудник НИУ ВШЭ

 СЕРГЕЙ САЛИБЕКЯН, кандидат технических наук, доцент НИУ ВШЭ

Энергоэффективный многопроцессорный
аппаратно-программный комплекс для ЦОД

В статье обосновывается актуальность разработки энергоэффективного серверного оборудования, оптимизированного под решение типовых задач ЦОД, описываются основные характеристики унифицированного многопроцессорного аппаратно-программного серверного комплекса, разрабатываемого сотрудниками Национального исследовательского университета «Высшая школа экономики»

Последнее десятилетие наблюдаются непрерывный рост количества вновь создаваемой цифровой информации и, как следствие, увеличение парка вычислительных средств, установленных в дата-центрах для ее обработки. Оценки показывают, что рост объема цифровой информации носит экспоненциальный характер и в ближайшие годы изменение этой тенденции не ожидается [1]. За последний год в мире было произведено более 1000 экзабайт (1 000 000 000 гигабайт) цифровой информации.

Основу вычислительного парка центров обработки данных (ЦОД, дата-центры) составляют обычные серверы, предназначенные прежде всего для решения задач, требующих высокой вычислительной производительности единичного процессора [2].

При этом энергопотребление данных вычислительных средств никогда не являлось критическим параметром, определяющим их коммерческую притягательность [3]. С другой стороны, основные вычислительные задачи, характерные для сегодняшних центров обработки данных, не требуют сверхвысокой производительности единичного процессора, при этом энергопотребление каждого вычислительного узла становится критическим параметром из-за огромного количества установленных серверов.

Типовыми задачами дата-центров на сегодня являются веб-приложения, поиск и индексация больших массивов данных, хостинг физических и виртуальных серверов, маршрутизация, облачные вычисления [4]. Затраты на электроэнергию составляют примерно половину от общих затрат владельцев дата-центров на обслуживание серверного парка. Средства идут на энергопотребление серверов и их охлаждение.

Поэтому важной задачей для оборудования дата-центров является разработка унифицированного многопроцессорного аппаратно-программного серверного комплекса, оптимизированного под решение типовых задач центров обработки данных и обладающего сверхнизким энергопотреблением.

Данная задача решается в ходе реализации проекта «Разработка и организация высокотехнологичного производства энергоэффективных многопроцессорных аппаратно-программных серверных комплексов для государственных и корпоративных информационных систем и центров обработки данных», который выполняется сотрудниками Национального исследовательского университета «Высшая школа экономики».

Данный проект стал одним из победителей четвертой очереди открытого публичного конкурса по отбору организаций на право получения субсидий на реализацию комплексных проектов по созданию высокотехнологичного производства.

Результаты анализа тенденций развития науки и техники в области производства серверного оборудования позволили сформировать следующие требования к энергоэффективному многопроцессорному аппаратно-программному комплексу (МАПК):

• С программной стороны комплекс должен включать средства, обеспечивающие легкое создание реализаций популярных алгоритмов обработки и поиска информации (в частности, MapReduce) с высокой степенью параллелизма, а также позволяющие эффективно сбалансировать загрузку отдельных процессорных элементов и передачу информации между вычислительными узлами и периферийными устройствами.
• C аппаратной стороны платформа должна включать специально разработанную топологию многопроцессорной системы, адаптированную к решаемым задачам, и вычислительные элементы (процессоры), имеющие наилучшие показатели по энергопотреблению при решении вышеуказанных типовых задач.
• Аппаратно-программный серверный комплекс должен включать в себя не менее восьми процессорных модулей.
• Архитектура серверного комплекса и программного обеспечения должна обеспечивать возможность использования гетерогенных процессорных модулей для решения разного класса задач, особенно связанных с виртуализацией и облачными вычислениями.

В ходе реализации проекта в комплексе решается ряд задач, среди которых наиболее важной является повышение энергоэффективности центров обработки данных. Уже сейчас расходы на энергопотребление ЦОДов растут намного быстрее расходов на обновление и расширение парка серверов.

В США энергопотребление всех ЦОДов составляет 2% от общего энергопотребления страны [5]. В России эта проблема не так актуальна в связи с тем, что отечественные ЦОДы оперируют не такими большими объемами данных, как гиганты вроде Google, Microsoft и Yahoo, однако объем перерабатываемой информации быстро растет. Уже сейчас российский Яндекс входит в десятку самых крупных поисковых систем мира [6].

Другая задача, которая решается в ходе реализации проекта, – это увеличение эффективности использования вычислительных ресурсов центров обработки данных. Известно, что вычислительные ресурсы серверов в ЦОДах используются в среднем только на 20%. Технологии виртуализации и динамического выделения вычислительных ресурсов позволят существенно увеличить коэффициент полезного действия системы.

Третьей важной задачей является обеспечение масштабируемости системы, возможности постепенного наращивания вычислительных мощностей центра обработки данных за счет добавления новых модулей.

Четвертой – повышение эффективности используемых площадей центра обработки данных. Используя новые подходы к построению архитектуры дата-центра, можно будет добиться двух-трехкратного уменьшения площади, занимаемой серверной платформой, при сохранении производительности.

Результаты проведенного на этапе НИР имитационного моделирования показали, что МАПК должен обеспечить значительный выигрыш в энергопотреблении – до двух-трех раз при той же производительности.

Это способно дать суммарный значительный эффект по экономии электроэнергии: по России – до 7 млрд руб. в год, в мире – до 8 млрд долларов США в год (240 млрд руб.).

Кроме того, объем пространства дата-центров, занимаемый отдельной серверной платформой, будет минимум в два-три раза меньше. Это приведет к снижению требований к площадям и экономии земельных и строительных ресурсов.

Предлагаемая архитектура МАПК является принципиально новой в производстве серверов. Она предполагает наличие в одном комплексе до 12 процессоров с общим количеством ядер до 48. Такая архитектура позволяет достичь наивысшей производительности в задачах с высокой степенью параллелизма – интернет-поиск, веб-хостинг и маршрутизация, облачные вычисления и виртуализация, – в три-четыре раза большей, чем у существующих систем.

Разрабатываемый МАПК будет использован прежде всего для построения центров обработки данных для коммерческих компаний, государственных и научных организаций и предназначен для реализации следующих типов приложений:

• массивно-параллельная обработка данных (поисковая индексация в сети Интернет, обработка потокового видео, машинное обучение, роутинг);
• веб-хостинг;
• базы данных и хранилища данных.

В состав комплекса входят:

• корпус с источниками электропитания;
• процессорный модуль;
• объединительная панель;
• интерфейсные модули;
• программное обеспечение.

Ключевые характеристики МАПК

Низкое энергопотребление. Энергопотребление одного модуля комплекса будет находиться в пределах 600-900 Вт, что в среднем на 70% меньше потребления сервера на основе процессоров архитектуры x86. Энергоэффективность достигается за счет реализации следующих компонент:

• использование энергоэффективных процессорных ядер;
• интеллектуальная система управления питанием;
• динамическое подключение вычислительных ресурсов под потребности каждой конкретной задачи.

Специализация под определенные классы задач. Предлагаемое решение оптимизировано под следующие типы задач:

• массивно-параллельная обработка данных (построение поискового индекса для интернет-поиска, обработка потокового видео и звука, задачи машинного обучения и т.д.);
• веб-хостинг;
• организация хранилищ данных.

Специализация означает, что производительность комплекса на данных типах задач будет не меньше, чем у серверов на основе архитектуры x86, что будет подтверждено соответствующими тестами.

Оптимизация достигается за счет реализации следующих компонент комплекса:

• оптимизация топологии интерконнекта;
• реализация эффективных механизмов ввода/вывода;
• низкоуровневая поддержка алгоритмов распараллеливания вычислений;
• динамическое подключение вычислительных ресурсов.

Технические характеристики МАПК

• максимальная рабочая частота микропроцессорных ядер должна быть не менее 700 МГц;
• объем динамической памяти каждого процессорного модуля должен составлять не менее 2 Гб;
• время готовности к работе разрабатываемого МАПК с момента включения основного питания должно составлять не более 30 с;
• производительность МАПК – не менее 16 600 DMIPS на один модуль при частоте процессоров не менее 1,6 МГц;
• оперативная память МАПК объемом не менее 2 ГГб на один модуль при обеспечении поддержки 64-битной шины оперативной памяти DDR2 и DDR3;
• вычислительные модули МАПК обеспечивают потребление в рабочем режиме не более 15 Вт электроэнергии;
• скорость передачи данных МАПК (high bandwidth) – не менее 20 ГГб/с.

Таким образом, конкурентные преимущества разрабатываемого МАПК, обеспечивающие его востребованность на рынке серверного оборудования, заключаются в следующем:

• снижение операционных расходов на содержание ЦОДа за счет снижения затрат на электроэнергию;
• обеспечение работоспособности необходимого программного обеспечения на данном комплексе с не меньшей (по сравнению со стандартными решениями) производительностью;
• соизмеримые (по сравнению со стандартными решениями) сроки эксплуатации оборудования.

Разрабатываемое решение призвано реализовать следующую задачу: снизить энергопотребление серверов не менее чем в три – пять раз без потери производительности на определенных классах задач, а именно в задачах с массивно-параллельной обработкой данных (например, поиск и индексация данных), веб-хостинге и организации хранилищ данных.

Эффективность решения поставленных задач обусловлена уникальными технологиями, не имеющими аналогов в РФ и находящимися на уровне лучших мировых образцов, которые будут применяться при разработке многопроцессорного серверного комплекса:

• использование многопроцессорной архитектуры, основанной на большом количестве процессорных ядер (до 800 ядер), поддерживающей большое количество потоков одновременно для решения задач массивно-параллельной обработки данных;
• разработка целого ряда энергоэффективных решений, реализующих динамическое управление ресурсами серверного комплекса, способных при той же производительности в разы снизить потребление энергии и уменьшить занимаемое пространство в дата-центрах;
• разработка интегрированных модульных решений на базе передовой платформы MiroTCA, обеспечивающих дополнительную экономию ресурсов дата-центров за счет компактного размещения, интеллектуальной системой управления ресурсами модуля, а также увеличивающих мобильность развертывания модулей и перемещения их между дата-центрами.

Функциональные и стоимостные характеристики аппаратно-программного серверного комплекса, определяющие его конкурентоспособность, будут обеспечены на основе следующих технологических приемов:

• использование наиболее энергоэффективных на сегодняшний день процессорных ядер, в качестве которых на сегодняшний день рассматривается несколько вариантов, в том числе ядра компании ARM Cortex-A5, Cortex-A8 и четырехъядерного Cortex-A9;
• использование в качестве основы для вычислительных алгоритмов серверного комплекса оригинальной имплементации системы Nutch/Hadoop или аналогичной программной платформы, основанной на алгоритме MapReduce;
• динамическое многоуровневое управление энергопотреблением серверного комплекса – на уровне отдельных процессоров, отдельных ядер, управление частотой процессоров и т.д.;
• разработка специализированного программного обеспечения, включающего в себя оригинальную вер-сию операционной системы (Cloud/IX OS), оптимизированную под систему команд используемого процессора;
• разработка специализированной внутриядерной операционной системы на основе FreeBSD для управления состоянием ядер.

Таким образом, разрабатываемый МАПК является конкурентоспособным и на внутреннем и на мировом рынках, поскольку позволит уменьшить затраты на энергопотребление минимум в два-три раза по сравнению с существующими наиболее распространенными моделями серверов на процессорах Intel Xeon и AMD Opteron.

При этом одновременно на такую же величину снизятся затраты на охлаждение серверов и помещений. В общей структуре затрат на обслуживание дата-центров достигается экономия примерно в 15-20%.

С учетом общемировой величины затрат в 40 млрд долларов США (1200 млрд руб.) величина экономии может составить до 8 млрд долларов США (240 млрд руб.) в год.

1. EMC Russia: Результаты исследований компании IDC – http://russia.emc.com/about/news/press/russia/2007/20070306-4932.htm.
2. ServerWatch: IT buying more x86 servers, paying less (IDC) – http://www.serverwatch.com/stats/article.php/3884731/IT-Buying-More-x86-Servers-Paying-Less-IDC.htm.
3. DataSystems: Выбор сервера и серверного оборудования – http://www.datasystems.ru/dir_how_choice_server.htm.
4. eWeek: Data center power consumption on the rise – http://www.eweek.com/c/a/IT-Infrastructure/Data-Center-Power-Consumption-on-the-Rise-Report-Shows.
5. U.S. Environmental Protection Agency Report to Congress on Server and Data Center Energy Efficiency – http://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_Final1.pdf.
6. comScore: March 2008 European Search Rankings – http://www.comscore.com/Press_Events/Press_Releases/2008/05/Top_European_Search_Engines/(language)/eng-US.

Ключевые слова: сервер, процессор, технологии, программное обеспечение, энергоэффективность, центр обработки данных.

Leokhin Y.L., Dvoretskiy I.N., Salibekjan S.M.

Power effective multiprocessor hardware-software complex for data-processing centers

Summary

Relevance of development of the energoeffetivny server equipment optimized under the solution of standard problems of data-processing centers locates in article, the main characteristics of the unified multiprocessor hardware-software server complex developed by staff of National research university «The Higher School of Economy» are described.

Keywords: server, processor, technologies, software, energy efficiency, data-processing center.

Комментарии могут оставлять только зарегистрированные пользователи