|
Рубрика:
Наука и технологии /
Раздел для научных публикаций
|
Facebook
Мой мир
Вконтакте
Одноклассники
Google+
|
Полторацкий А.Г., студент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии»
КФ МГТУ им. Н.Э. Баумана; pag.2010@yandex.ru
Былинка М.И., студент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии»
КФ МГТУ им. Н.Э. Баумана; maxim.bylinka@gmail.com
Белов Ю.С., канд. физ.-мат. наук, доцент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии» КФ МГТУ им. Н.Э. Баумана; fn1-kf@mail.ru
Гришунов С.С., ассистент кафедры ИУ4-КФ «Программное обеспечение ЭВМ, информационные технологии»
КФ МГТУ им. Н.Э. Баумана; stepangrishunov@yandex.com
Автоматизация настройки узлов Hadoop-кластера средствами Bash
В статье рассматривается платформа Hadoop, описывается процедура настройки Hadoop-кластера и приводится утилита, разработанная для автоматизации процесса настройки узлов кластера
Введение
В конце 2000-х, с ростом темпов производства информации, человечество столкнулось с ограничениями традиционных методов обработки данных. Различные подходы к надежному хранению, структурированию и эффективной обработке таких объемов информации назвали Big Data (большие данные) решениями [1].
Одним из первых успешных Big Data решений стала распределенная платформа Hadoop. Hadoop – это свободно распространяемый набор библиотек, утилит и фреймворков для развертывания кластеров из сотен и тысяч узлов для выполнения и разработки распределенных задач и использования в качестве хранилища файлов общего назначения, способного вместить петабайты данных.
<...>
Подпишитесь на журнал
Купите в Интернет-магазине
Facebook
Мой мир
Вконтакте
Одноклассники
Google+
|
Автоматизация настройки узлов Hadoop-кластера средствами Bash
