Автоматизация настройки узлов Hadoop-кластера средствами Bash::
www.samag.ru
     
Поиск   
              
 www.samag.ru    Web  0 товаров , сумма 0 руб.
E-mail
Пароль  
 Запомнить меня
Регистрация | Забыли пароль?
Журнал "Системный администратор"
Журнал «БИТ»
Наука и технологии
Подписка
Где купить
Авторам
Рекламодателям
Архив номеров
Контакты
   

  Опросы
  Статьи

Электронный документооборот  

5 способов повысить безопасность электронной подписи

Область применения технологий электронной подписи с каждым годом расширяется. Все больше задач

 Читать далее...

Рынок труда  

Системные администраторы по-прежнему востребованы и незаменимы

Системные администраторы, практически, есть везде. Порой их не видно и не слышно,

 Читать далее...

Учебные центры  

Карьерные мечты нужно воплощать! А мы поможем

Школа Bell Integrator открывает свои двери для всех, кто хочет освоить перспективную

 Читать далее...

Гость номера  

Дмитрий Галов: «Нельзя сказать, что люди становятся доверчивее, скорее эволюционирует ландшафт киберугроз»

Использование мобильных устройств растет. А вместе с ними быстро растет количество мобильных

 Читать далее...

Прошу слова  

Твердая рука в бархатной перчатке: принципы soft skills

Лауреат Нобелевской премии, специалист по рынку труда, профессор Лондонской школы экономики Кристофер

 Читать далее...

1001 и 1 книга  
19.03.2018г.
Просмотров: 9884
Комментарии: 0
Потоковая обработка данных

 Читать далее...

19.03.2018г.
Просмотров: 8097
Комментарии: 0
Релевантный поиск с использованием Elasticsearch и Solr

 Читать далее...

19.03.2018г.
Просмотров: 8198
Комментарии: 0
Конкурентное программирование на SCALA

 Читать далее...

19.03.2018г.
Просмотров: 5194
Комментарии: 0
Машинное обучение с использованием библиотеки Н2О

 Читать далее...

12.03.2018г.
Просмотров: 5872
Комментарии: 0
Особенности киберпреступлений в России: инструменты нападения и защита информации

 Читать далее...

Друзья сайта  

 Автоматизация настройки узлов Hadoop-кластера средствами Bash

Архив номеров / 2020 / Выпуск №04 (209) / Автоматизация настройки узлов Hadoop-кластера средствами Bash

Рубрика: Наука и технологии /  Раздел для научных публикаций

Полторацкий А.Г., студент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии»
КФ МГТУ им. Н.Э. Баумана; pag.2010@yandex.ru

Былинка М.И., студент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии»
КФ МГТУ им. Н.Э. Баумана; maxim.bylinka@gmail.com

Белов Ю.С., канд. физ.-мат. наук, доцент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии» КФ МГТУ им. Н.Э. Баумана; fn1-kf@mail.ru

Гришунов С.С., ассистент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии»
КФ МГТУ им. Н.Э. Баумана; stepangrishunov@yandex.com


Автоматизация настройки узлов Hadoop-кластера средствами Bash

В статье рассматривается платформа Hadoop, описывается процедура настройки Hadoop-кластера и приводится утилита, разработанная для автоматизации процесса настройки узлов кластера


Введение

В конце 2000-х, с ростом темпов производства информации, человечество столкнулось с ограничениями традиционных методов обработки данных. Различные подходы к надежному хранению, структурированию и эффективной обработке таких объемов информации назвали Big Data (большие данные) решениями [1].

Одним из первых успешных Big Data решений стала распределенная платформа Hadoop. Hadoop – это свободно распространяемый набор библиотек, утилит и фреймворков для развертывания кластеров из сотен и тысяч узлов для выполнения и разработки распределенных задач и использования в качестве хранилища файлов общего назначения, способного вместить петабайты данных.

 

<...>


Подпишитесь на журнал
Купите в Интернет-магазине

Комментарии отсутствуют

Добавить комментарий

Комментарии могут оставлять только зарегистрированные пользователи

               Copyright © Системный администратор

Яндекс.Метрика
Tel.: (499) 277-12-41
Fax: (499) 277-12-45
E-mail: sa@samag.ru