Энергоэффективный многопроцессорный аппаратно-программный комплекс для ЦОД::Журнал СА 12.2013
www.samag.ru
     
Поиск   
              
 www.samag.ru    Web  0 товаров , сумма 0 руб.
E-mail
Пароль  
 Запомнить меня
Регистрация | Забыли пароль?
Журнал "Системный администратор"
Журнал «БИТ»
Подписка
Архив номеров
Где купить
Наука и технологии
Авторам
Рекламодателям
Контакты
   

  Опросы
  Статьи

Дата-центры  

Дата-центры: есть ли опасность утечки данных?

Российские компании уже несколько лет испытывают дефицит вычислительных мощностей. Рост числа проектов,

 Читать далее...

Книжная полка  

Защиты много не бывает

Среди книжных новинок издательства «БХВ» есть несколько изданий, посвященных методам социальной инженерии

 Читать далее...

Событие  

В банке рассола ждет сисадмина с полей фрактал-кукумбер

Читайте впечатления о слете ДСА 2024, рассказанные волонтером и участником слета

 Читать далее...

Организация бесперебойной работы  

Бесперебойная работа ИТ-инфраструктуры в режиме 24/7 Как обеспечить ее в нынешних условиях?

Год назад ИТ-компания «Крок» провела исследование «Ключевые тренды сервисного рынка 2023». Результаты

 Читать далее...

Книжная полка  

Читайте и познавайте мир технологий!

Издательство «БХВ» продолжает радовать выпуском интересных и полезных, к тому же прекрасно

 Читать далее...

СУБД PostgreSQL  

СУБД Postgres Pro

Сертификация по новым требованиям ФСТЭК и роль администратора без доступа к данным

 Читать далее...

Критическая инфраструктура  

КИИ для оператора связи. Готовы ли компании к повышению уровня кибербезопасности?

Похоже, что провайдеры и операторы связи начали забывать о требованиях законодательства

 Читать далее...

Архитектура ПО  

Архитектурные метрики. Качество архитектуры и способность системы к эволюционированию

Обычно соответствие программного продукта требованиям мы проверяем через скоуп вполне себе понятных

 Читать далее...

Как хорошо вы это знаете  

Что вам известно о разработках компании ARinteg?

Компания ARinteg (ООО «АРинтег») – системный интегратор на российском рынке ИБ –

 Читать далее...

Графические редакторы  

Рисование абстрактных гор в стиле Paper Cut

Векторный графический редактор Inkscape – яркий представитель той прослойки open source, с

 Читать далее...

День сисадмина  

Учите матчасть! Или как стать системным администратором

Лето – время не только отпусков, но и хорошая возможность определиться с профессией

 Читать далее...

День сисадмина  

Живой айтишник – это всегда движение. Остановка смерти подобна

Наши авторы рассказывают о своем опыте и дают советы начинающим системным администраторам.

 Читать далее...

Виртуализация  

Рынок решений для виртуализации

По данным «Обзора российского рынка инфраструктурного ПО и перспектив его развития», сделанного

 Читать далее...

Книжная полка  

Как стать креативным и востребованным

Издательский дом «Питер» предлагает новинки компьютерной литературы, а также книги по бизнесу

 Читать далее...

1001 и 1 книга  
19.03.2018г.
Просмотров: 6314
Комментарии: 0
Машинное обучение с использованием библиотеки Н2О

 Читать далее...

12.03.2018г.
Просмотров: 7023
Комментарии: 0
Особенности киберпреступлений в России: инструменты нападения и защита информации

 Читать далее...

12.03.2018г.
Просмотров: 4306
Комментарии: 0
Глубокое обучение с точки зрения практика

 Читать далее...

12.03.2018г.
Просмотров: 3057
Комментарии: 0
Изучаем pandas

 Читать далее...

12.03.2018г.
Просмотров: 3855
Комментарии: 0
Программирование на языке Rust (Цветное издание)

 Читать далее...

19.12.2017г.
Просмотров: 3870
Комментарии: 0
Глубокое обучение

 Читать далее...

19.12.2017г.
Просмотров: 6360
Комментарии: 0
Анализ социальных медиа на Python

 Читать далее...

19.12.2017г.
Просмотров: 3213
Комментарии: 0
Основы блокчейна

 Читать далее...

19.12.2017г.
Просмотров: 3504
Комментарии: 0
Java 9. Полный обзор нововведений

 Читать далее...

16.02.2017г.
Просмотров: 7324
Комментарии: 0
Опоздавших не бывает, или книга о стеке

 Читать далее...

17.05.2016г.
Просмотров: 10686
Комментарии: 0
Теория вычислений для программистов

 Читать далее...

30.03.2015г.
Просмотров: 12410
Комментарии: 0
От математики к обобщенному программированию

 Читать далее...

18.02.2014г.
Просмотров: 14051
Комментарии: 0
Рецензия на книгу «Читаем Тьюринга»

 Читать далее...

13.02.2014г.
Просмотров: 9173
Комментарии: 0
Читайте, размышляйте, действуйте

 Читать далее...

12.02.2014г.
Просмотров: 7120
Комментарии: 0
Рисуем наши мысли

 Читать далее...

10.02.2014г.
Просмотров: 5429
Комментарии: 3
Страна в цифрах

 Читать далее...

18.12.2013г.
Просмотров: 4661
Комментарии: 0
Большие данные меняют нашу жизнь

 Читать далее...

18.12.2013г.
Просмотров: 3467
Комментарии: 0
Компьютерные технологии – корень зла для точки роста

 Читать далее...

04.12.2013г.
Просмотров: 3193
Комментарии: 0
Паутина в облаках

 Читать далее...

03.12.2013г.
Просмотров: 3435
Комментарии: 0
Рецензия на книгу «MongoDB в действии»

 Читать далее...

02.12.2013г.
Просмотров: 3065
Комментарии: 0
Не думай о минутах свысока

 Читать далее...

Друзья сайта  

 Энергоэффективный многопроцессорный аппаратно-программный комплекс для ЦОД

Архив номеров / 2013 / Выпуск №12 (133) / Энергоэффективный многопроцессорный аппаратно-программный комплекс для ЦОД

Рубрика: Карьера/Образование /  Наука и технологии

Юрий Леохин ЮРИЙ ЛЕОХИН, д.т.н., профессор МИЭМ НИУ ВШЭ, (495) 916-88-98 (8-98), yleokhin@hse.ru

Игорь Дворецкий ИГОРЬ ДВОРЕЦКИЙ, научный сотрудник НИУ ВШЭ

Сергей Салибекян СЕРГЕЙ САЛИБЕКЯН, кандидат технических наук, доцент НИУ ВШЭ

Энергоэффективный многопроцессорный
аппаратно-программный комплекс для ЦОД

В статье обосновывается актуальность разработки энергоэффективного серверного оборудования, оптимизированного под решение типовых задач ЦОД, описываются основные характеристики унифицированного многопроцессорного аппаратно-программного серверного комплекса, разрабатываемого сотрудниками Национального исследовательского университета «Высшая школа экономики»

Последнее десятилетие наблюдаются непрерывный рост количества вновь создаваемой цифровой информации и, как следствие, увеличение парка вычислительных средств, установленных в дата-центрах для ее обработки. Оценки показывают, что рост объема цифровой информации носит экспоненциальный характер и в ближайшие годы изменение этой тенденции не ожидается [1]. За последний год в мире было произведено более 1000 экзабайт (1 000 000 000 гигабайт) цифровой информации.

Основу вычислительного парка центров обработки данных (ЦОД, дата-центры) составляют обычные серверы, предназначенные прежде всего для решения задач, требующих высокой вычислительной производительности единичного процессора [2].

При этом энергопотребление данных вычислительных средств никогда не являлось критическим параметром, определяющим их коммерческую притягательность [3]. С другой стороны, основные вычислительные задачи, характерные для сегодняшних центров обработки данных, не требуют сверхвысокой производительности единичного процессора, при этом энергопотребление каждого вычислительного узла становится критическим параметром из-за огромного количества установленных серверов.

Типовыми задачами дата-центров на сегодня являются веб-приложения, поиск и индексация больших массивов данных, хостинг физических и виртуальных серверов, маршрутизация, облачные вычисления [4]. Затраты на электроэнергию составляют примерно половину от общих затрат владельцев дата-центров на обслуживание серверного парка. Средства идут на энергопотребление серверов и их охлаждение.

Поэтому важной задачей для оборудования дата-центров является разработка унифицированного многопроцессорного аппаратно-программного серверного комплекса, оптимизированного под решение типовых задач центров обработки данных и обладающего сверхнизким энергопотреблением.

Данная задача решается в ходе реализации проекта «Разработка и организация высокотехнологичного производства энергоэффективных многопроцессорных аппаратно-программных серверных комплексов для государственных и корпоративных информационных систем и центров обработки данных», который выполняется сотрудниками Национального исследовательского университета «Высшая школа экономики».

Данный проект стал одним из победителей четвертой очереди открытого публичного конкурса по отбору организаций на право получения субсидий на реализацию комплексных проектов по созданию высокотехнологичного производства.

Результаты анализа тенденций развития науки и техники в области производства серверного оборудования позволили сформировать следующие требования к энергоэффективному многопроцессорному аппаратно-программному комплексу (МАПК):

  • С программной стороны комплекс должен включать средства, обеспечивающие легкое создание реализаций популярных алгоритмов обработки и поиска информации (в частности, MapReduce) с высокой степенью параллелизма, а также позволяющие эффективно сбалансировать загрузку отдельных процессорных элементов и передачу информации между вычислительными узлами и периферийными устройствами.
  • C аппаратной стороны платформа должна включать специально разработанную топологию многопроцессорной системы, адаптированную к решаемым задачам, и вычислительные элементы (процессоры), имеющие наилучшие показатели по энергопотреблению при решении вышеуказанных типовых задач.
  • Аппаратно-программный серверный комплекс должен включать в себя не менее восьми процессорных модулей.
  • Архитектура серверного комплекса и программного обеспечения должна обеспечивать возможность использования гетерогенных процессорных модулей для решения разного класса задач, особенно связанных с виртуализацией и облачными вычислениями.

В ходе реализации проекта в комплексе решается ряд задач, среди которых наиболее важной является повышение энергоэффективности центров обработки данных. Уже сейчас расходы на энергопотребление ЦОДов растут намного быстрее расходов на обновление и расширение парка серверов.

В США энергопотребление всех ЦОДов составляет 2% от общего энергопотребления страны [5]. В России эта проблема не так актуальна в связи с тем, что отечественные ЦОДы оперируют не такими большими объемами данных, как гиганты вроде Google, Microsoft и Yahoo, однако объем перерабатываемой информации быстро растет. Уже сейчас российский Яндекс входит в десятку самых крупных поисковых систем мира [6].

Другая задача, которая решается в ходе реализации проекта, – это увеличение эффективности использования вычислительных ресурсов центров обработки данных. Известно, что вычислительные ресурсы серверов в ЦОДах используются в среднем только на 20%. Технологии виртуализации и динамического выделения вычислительных ресурсов позволят существенно увеличить коэффициент полезного действия системы.

Третьей важной задачей является обеспечение масштабируемости системы, возможности постепенного наращивания вычислительных мощностей центра обработки данных за счет добавления новых модулей.

Четвертой – повышение эффективности используемых площадей центра обработки данных. Используя новые подходы к построению архитектуры дата-центра, можно будет добиться двух-трехкратного уменьшения площади, занимаемой серверной платформой, при сохранении производительности.

Результаты проведенного на этапе НИР имитационного моделирования показали, что МАПК должен обеспечить значительный выигрыш в энергопотреблении – до двух-трех раз при той же производительности.

Это способно дать суммарный значительный эффект по экономии электроэнергии: по России – до 7 млрд руб. в год, в мире – до 8 млрд долларов США в год (240 млрд руб.).

Кроме того, объем пространства дата-центров, занимаемый отдельной серверной платформой, будет минимум в два-три раза меньше. Это приведет к снижению требований к площадям и экономии земельных и строительных ресурсов.

Предлагаемая архитектура МАПК является принципиально новой в производстве серверов. Она предполагает наличие в одном комплексе до 12 процессоров с общим количеством ядер до 48. Такая архитектура позволяет достичь наивысшей производительности в задачах с высокой степенью параллелизма – интернет-поиск, веб-хостинг и маршрутизация, облачные вычисления и виртуализация, – в три-четыре раза большей, чем у существующих систем.

Разрабатываемый МАПК будет использован прежде всего для построения центров обработки данных для коммерческих компаний, государственных и научных организаций и предназначен для реализации следующих типов приложений:

  • массивно-параллельная обработка данных (поисковая индексация в сети Интернет, обработка потокового видео, машинное обучение, роутинг);
  • веб-хостинг;
  • базы данных и хранилища данных.

В состав комплекса входят:

  • корпус с источниками электропитания;
  • процессорный модуль;
  • объединительная панель;
  • интерфейсные модули;
  • программное обеспечение.

Ключевые характеристики МАПК

Низкое энергопотребление. Энергопотребление одного модуля комплекса будет находиться в пределах 600-900 Вт, что в среднем на 70% меньше потребления сервера на основе процессоров архитектуры x86. Энергоэффективность достигается за счет реализации следующих компонент:

  • использование энергоэффективных процессорных ядер;
  • интеллектуальная система управления питанием;
  • динамическое подключение вычислительных ресурсов под потребности каждой конкретной задачи.

Специализация под определенные классы задач. Предлагаемое решение оптимизировано под следующие типы задач:

  • массивно-параллельная обработка данных (построение поискового индекса для интернет-поиска, обработка потокового видео и звука, задачи машинного обучения и т.д.);
  • веб-хостинг;
  • организация хранилищ данных.

Специализация означает, что производительность комплекса на данных типах задач будет не меньше, чем у серверов на основе архитектуры x86, что будет подтверждено соответствующими тестами.

Оптимизация достигается за счет реализации следующих компонент комплекса:

  • оптимизация топологии интерконнекта;
  • реализация эффективных механизмов ввода/вывода;
  • низкоуровневая поддержка алгоритмов распараллеливания вычислений;
  • динамическое подключение вычислительных ресурсов.

Технические характеристики МАПК

  • максимальная рабочая частота микропроцессорных ядер должна быть не менее 700 МГц;
  • объем динамической памяти каждого процессорного модуля должен составлять не менее 2 Гб;
  • время готовности к работе разрабатываемого МАПК с момента включения основного питания должно составлять не более 30 с;
  • производительность МАПК – не менее 16 600 DMIPS на один модуль при частоте процессоров не менее 1,6 МГц;
  • оперативная память МАПК объемом не менее 2 ГГб на один модуль при обеспечении поддержки 64-битной шины оперативной памяти DDR2 и DDR3;
  • вычислительные модули МАПК обеспечивают потребление в рабочем режиме не более 15 Вт электроэнергии;
  • скорость передачи данных МАПК (high bandwidth) – не менее 20 ГГб/с.

Таким образом, конкурентные преимущества разрабатываемого МАПК, обеспечивающие его востребованность на рынке серверного оборудования, заключаются в следующем:

  • снижение операционных расходов на содержание ЦОДа за счет снижения затрат на электроэнергию;
  • обеспечение работоспособности необходимого программного обеспечения на данном комплексе с не меньшей (по сравнению со стандартными решениями) производительностью;
  • соизмеримые (по сравнению со стандартными решениями) сроки эксплуатации оборудования.

Разрабатываемое решение призвано реализовать следующую задачу: снизить энергопотребление серверов не менее чем в три – пять раз без потери производительности на определенных классах задач, а именно в задачах с массивно-параллельной обработкой данных (например, поиск и индексация данных), веб-хостинге и организации хранилищ данных.

Эффективность решения поставленных задач обусловлена уникальными технологиями, не имеющими аналогов в РФ и находящимися на уровне лучших мировых образцов, которые будут применяться при разработке многопроцессорного серверного комплекса:

  • использование многопроцессорной архитектуры, основанной на большом количестве процессорных ядер (до 800 ядер), поддерживающей большое количество потоков одновременно для решения задач массивно-параллельной обработки данных;
  • разработка целого ряда энергоэффективных решений, реализующих динамическое управление ресурсами серверного комплекса, способных при той же производительности в разы снизить потребление энергии и уменьшить занимаемое пространство в дата-центрах;
  • разработка интегрированных модульных решений на базе передовой платформы MiroTCA, обеспечивающих дополнительную экономию ресурсов дата-центров за счет компактного размещения, интеллектуальной системой управления ресурсами модуля, а также увеличивающих мобильность развертывания модулей и перемещения их между дата-центрами.

Функциональные и стоимостные характеристики аппаратно-программного серверного комплекса, определяющие его конкурентоспособность, будут обеспечены на основе следующих технологических приемов:

  • использование наиболее энергоэффективных на сегодняшний день процессорных ядер, в качестве которых на сегодняшний день рассматривается несколько вариантов, в том числе ядра компании ARM Cortex-A5, Cortex-A8 и четырехъядерного Cortex-A9;
  • использование в качестве основы для вычислительных алгоритмов серверного комплекса оригинальной имплементации системы Nutch/Hadoop или аналогичной программной платформы, основанной на алгоритме MapReduce;
  • динамическое многоуровневое управление энергопотреблением серверного комплекса – на уровне отдельных процессоров, отдельных ядер, управление частотой процессоров и т.д.;
  • разработка специализированного программного обеспечения, включающего в себя оригинальную вер-сию операционной системы (Cloud/IX OS), оптимизированную под систему команд используемого процессора;
  • разработка специализированной внутриядерной операционной системы на основе FreeBSD для управления состоянием ядер.

Таким образом, разрабатываемый МАПК является конкурентоспособным и на внутреннем и на мировом рынках, поскольку позволит уменьшить затраты на энергопотребление минимум в два-три раза по сравнению с существующими наиболее распространенными моделями серверов на процессорах Intel Xeon и AMD Opteron.

При этом одновременно на такую же величину снизятся затраты на охлаждение серверов и помещений. В общей структуре затрат на обслуживание дата-центров достигается экономия примерно в 15-20%.

С учетом общемировой величины затрат в 40 млрд долларов США (1200 млрд руб.) величина экономии может составить до 8 млрд долларов США (240 млрд руб.) в год.

  1. EMC Russia: Результаты исследований компании IDC – http://russia.emc.com/about/news/press/russia/2007/20070306-4932.htm.
  2. ServerWatch: IT buying more x86 servers, paying less (IDC) – http://www.serverwatch.com/stats/article.php/3884731/IT-Buying-More-x86-Servers-Paying-Less-IDC.htm.
  3. DataSystems: Выбор сервера и серверного оборудования – http://www.datasystems.ru/dir_how_choice_server.htm.
  4. eWeek: Data center power consumption on the rise – http://www.eweek.com/c/a/IT-Infrastructure/Data-Center-Power-Consumption-on-the-Rise-Report-Shows.
  5. U.S. Environmental Protection Agency Report to Congress on Server and Data Center Energy Efficiency – http://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_Final1.pdf.
  6. comScore: March 2008 European Search Rankings – http://www.comscore.com/Press_Events/Press_Releases/2008/05/Top_European_Search_Engines/(language)/eng-US.

Ключевые слова: сервер, процессор, технологии, программное обеспечение, энергоэффективность, центр обработки данных.


Leokhin Y.L., Dvoretskiy I.N., Salibekjan S.M.

Power effective multiprocessor hardware-software complex for data-processing centers

Summary

Relevance of development of the energoeffetivny server equipment optimized under the solution of standard problems of data-processing centers locates in article, the main characteristics of the unified multiprocessor hardware-software server complex developed by staff of National research university «The Higher School of Economy» are described.

Keywords: server, processor, technologies, software, energy efficiency, data-processing center.


Комментарии отсутствуют

Добавить комментарий

Комментарии могут оставлять только зарегистрированные пользователи

               Copyright © Системный администратор

Яндекс.Метрика
Tel.: (499) 277-12-45
E-mail: sa@samag.ru