Автоматизация настройки узлов Hadoop-кластера средствами Bash::
www.samag.ru
     
Поиск   
              
 www.samag.ru    Web  0 товаров , сумма 0 руб.
E-mail
Пароль  
 Запомнить меня
Регистрация | Забыли пароль?
Журнал "Системный администратор"
Журнал «БИТ»
Наука и технологии
Подписка
Где купить
Авторам
Рекламодателям
Магазин
Архив номеров
Вакансии
Контакты
   

  Опросы

Какие курсы вы бы выбрали для себя?  

Очные
Онлайновые
Платные
Бесплатные
Я и так все знаю

 Читать далее...

1001 и 1 книга  
20.12.2019г.
Просмотров: 4321
Комментарии: 0
Dr.Web: всё под контролем

 Читать далее...

04.12.2019г.
Просмотров: 5627
Комментарии: 0
Особенности сертификаций по этичному хакингу

 Читать далее...

28.05.2019г.
Просмотров: 6860
Комментарии: 2
Анализ вредоносных программ

 Читать далее...

28.05.2019г.
Просмотров: 7256
Комментарии: 1
Микросервисы и контейнеры Docker

 Читать далее...

28.05.2019г.
Просмотров: 6331
Комментарии: 0
Django 2 в примерах

 Читать далее...

Друзья сайта  

Форум системных администраторов  

sysadmins.ru

 Автоматизация настройки узлов Hadoop-кластера средствами Bash

Архив номеров / 2020 / Выпуск №04 (209) / Автоматизация настройки узлов Hadoop-кластера средствами Bash

Рубрика: Наука и технологии /  Раздел для научных публикаций

Полторацкий А.Г., студент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии»
КФ МГТУ им. Н.Э. Баумана; pag.2010@yandex.ru

Былинка М.И., студент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии»
КФ МГТУ им. Н.Э. Баумана; maxim.bylinka@gmail.com

Белов Ю.С., канд. физ.-мат. наук, доцент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии» КФ МГТУ им. Н.Э. Баумана; fn1-kf@mail.ru

Гришунов С.С., ассистент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии»
КФ МГТУ им. Н.Э. Баумана; stepangrishunov@yandex.com


Автоматизация настройки узлов Hadoop-кластера средствами Bash

В статье рассматривается платформа Hadoop, описывается процедура настройки Hadoop-кластера и приводится утилита, разработанная для автоматизации процесса настройки узлов кластера


Введение

В конце 2000-х, с ростом темпов производства информации, человечество столкнулось с ограничениями традиционных методов обработки данных. Различные подходы к надежному хранению, структурированию и эффективной обработке таких объемов информации назвали Big Data (большие данные) решениями [1].

Одним из первых успешных Big Data решений стала распределенная платформа Hadoop. Hadoop – это свободно распространяемый набор библиотек, утилит и фреймворков для развертывания кластеров из сотен и тысяч узлов для выполнения и разработки распределенных задач и использования в качестве хранилища файлов общего назначения, способного вместить петабайты данных.

 

<...>


Подпишитесь на журнал
Купите в Интернет-магазине

Комментарии отсутствуют

Добавить комментарий

Комментарии могут оставлять только зарегистрированные пользователи

               Copyright © Системный администратор

Яндекс.Метрика
Tel.: (499) 277-12-41
Fax: (499) 277-12-45
E-mail: sa@samag.ru