www.samag.ru
Журнал «БИТ. Бизнес&Информационные технологии»      
Поиск   
              
 www.samag.ru    Web  0 товаров , сумма 0 руб.
E-mail
Пароль  
 Запомнить меня
Регистрация | Забыли пароль?
Журнал "Системный администратор"
Журнал «БИТ»
Подписка
Архив номеров
Где купить
Авторам
Рекламодателям
Контакты
   

  Опросы
  Статьи

Интеграция Open Source-решений  

Open Source в облачной среде

Облачные решения становятся всё более популярными в мире. Компании стремятся использовать их для

 Читать далее...

Автоматизация  

Нейросеть вам в руки! Как использовать ИИ для автоматизации задач

Использование ИИ для автоматизации задач помогает компании получить конкурентное преимущество, поскольку объединение

 Читать далее...

Рынок труда  

Специалист по этическому ИИ, инженер по квантовым вычислениям или аналитик по метавселенной?

Новые тенденции в развитии ИТ могут привести к возникновению новых специальностей в

 Читать далее...

Книжная полка  

Учитесь убеждать и побеждать

Издательство «БХВ», как всегда, порадовало своих читателей хорошими книжными новинками. Кроме популярных

 Читать далее...

Сетевая инфраструктура  

Как удаленная работа меняет подход к сетевой инфраструктуре?

С увеличением числа сотрудников, работающих из дома, организации сталкиваются с необходимостью создания

 Читать далее...

Мониторинг  

Какой мониторинг нужен сегодня?

По мнению экспертов ГК InfoWatch, действия сотрудников – самая распространенная причина инцидентов

 Читать далее...

Книжная полка  

Руководство для тех, кто увлечен ИИ, программированием. И дизайном

Накануне лета издательство «БХВ» выпустило книжные новинки, от которых любителям чтения будет

 Читать далее...

Мобильные приложения  

Искусственный интеллект в мобильных приложениях: возможности и перспективы

Обзор современных применений ИИ в мобильных приложениях, анализ перспектив развития этой технологии,

 Читать далее...

ИТ-образование  

Как сделать ИТ-образование эффективным?

Эксперты ИТ-отрасли отвечают на вопросы «СА». Обсуждаем ключевые аспекты для улучшения образовательных

 Читать далее...

Work-life balance  

Как айтишнику найти баланс между работой и личной жизнью?

Обсуждаем инструменты для эффективного управления временем, снижения уровня стресса и достижения гармонии. На

 Читать далее...

Книжная полка  

Всё самое нужное – под одной обложкой

Отличительная черта книжных новинок, выпущенных недавно издательством «БХВ» – это их универсальность. Не просто

 Читать далее...

ИТ-инфраструктура  

Системы мониторинга ИТ-инфраструктуры-2025

Без мониторинга ИТ-инфраструктуры не обходится ни одна компания, хотя бы потому, что

 Читать далее...

Открытое ПО  

Безопасность Open Source: рискуем или контролируем?

Компания «Кросс технолоджис» изучила, как используется ПО с открытым кодом в компаниях

 Читать далее...

Работа с нейросетью  

Скажи, есть ли у тебя AI, и я скажу, кто ты

Недавно сервис по поиску работы SuperJob выяснил, что каждый второй россиянин уже

 Читать далее...

1001 и 1 книга  
19.03.2018г.
Просмотров: 9486
Комментарии: 0
Машинное обучение с использованием библиотеки Н2О

 Читать далее...

12.03.2018г.
Просмотров: 9708
Комментарии: 0
Особенности киберпреступлений в России: инструменты нападения и защита информации

 Читать далее...

12.03.2018г.
Просмотров: 7131
Комментарии: 0
Глубокое обучение с точки зрения практика

 Читать далее...

12.03.2018г.
Просмотров: 4450
Комментарии: 0
Изучаем pandas

 Читать далее...

12.03.2018г.
Просмотров: 5247
Комментарии: 0
Программирование на языке Rust (Цветное издание)

 Читать далее...

19.12.2017г.
Просмотров: 5243
Комментарии: 0
Глубокое обучение

 Читать далее...

19.12.2017г.
Просмотров: 7911
Комментарии: 0
Анализ социальных медиа на Python

 Читать далее...

19.12.2017г.
Просмотров: 4606
Комментарии: 0
Основы блокчейна

 Читать далее...

19.12.2017г.
Просмотров: 4860
Комментарии: 0
Java 9. Полный обзор нововведений

 Читать далее...

16.02.2017г.
Просмотров: 8871
Комментарии: 0
Опоздавших не бывает, или книга о стеке

 Читать далее...

17.05.2016г.
Просмотров: 12304
Комментарии: 0
Теория вычислений для программистов

 Читать далее...

30.03.2015г.
Просмотров: 13872
Комментарии: 0
От математики к обобщенному программированию

 Читать далее...

18.02.2014г.
Просмотров: 15643
Комментарии: 0
Рецензия на книгу «Читаем Тьюринга»

 Читать далее...

13.02.2014г.
Просмотров: 10503
Комментарии: 0
Читайте, размышляйте, действуйте

 Читать далее...

12.02.2014г.
Просмотров: 8526
Комментарии: 0
Рисуем наши мысли

 Читать далее...

10.02.2014г.
Просмотров: 6755
Комментарии: 4
Страна в цифрах

 Читать далее...

18.12.2013г.
Просмотров: 5901
Комментарии: 0
Большие данные меняют нашу жизнь

 Читать далее...

18.12.2013г.
Просмотров: 4778
Комментарии: 0
Компьютерные технологии – корень зла для точки роста

 Читать далее...

04.12.2013г.
Просмотров: 4473
Комментарии: 0
Паутина в облаках

 Читать далее...

03.12.2013г.
Просмотров: 4690
Комментарии: 1
Рецензия на книгу «MongoDB в действии»

 Читать далее...

Друзья сайта  

 GlusterFS – новый класс хранилищ данных

Архив номеров / 2014 / Выпуск №10 (143) / GlusterFS – новый класс хранилищ данных

Рубрика: Администрирование /  Хранение данных

Александр Руденко АЛЕКСАНДР РУДЕНКО, ЗАО «Молдавская ГРЭС», администратор информационной безопасности, a.rudikk@gmail.com

GlusterFS – новый класс хранилищ данных

Рассмотрим архитектуру и особенности, варианты использования и примеры настройки

Высокопроизводительные и надежные хранилища данных были и остаются дорогим удовольствием, которое не всем по карману. Например, полноценное использование технологий виртуализации зачастую невозможно из-за отсутствия именно этого компонента инфраструктуры. Но здесь, кстати, мнения расходятся. Кто-то считает, что замены промышленным СХД быть не может. Я же уверен, что существуют значительно более дешевые варианты. Более того, мне кажется, что за подобными решениями будущее, и современные тенденции тоже свидетельствует об этом.

Итак, расскажу и покажу один из экономичных вариантов файловой системы под названием GlusterFS. А выбор, естественно, за вами.

Про GlusterFS

GlusterFS – это распределенная, параллельная, линейно масштабируемая файловая система (ФС) с возможностью защиты от сбоев. С ее помощью можно объединить множество хранилищ данных, размещенных на разных серверах (горизонтальное масштабирование) в одну сетевую файловую систему. Также возможно объединение нескольких хранилищ одного сервера (вертикальное масштабирование). Защита от сбоев достигается с помощью различных политик дублирования данных.

GlusterFS использует механизмы FUSE (ФС в пользовательском пространстве) и работает поверх любых POSIX файловых систем, например, Ext3, Ext4, XFS, Btrfs. В качестве транспорта – Infiniband RDMA и TCP/IP.

В отличие от других распределенных ФС, таких как Lustre и Ceph, для работы GlusterFS не требуется отдельный сервер для хранения метаданных. В нашем случае они хранятся вместе с данными в расширенных атрибутах файлов. Благодаря отсутствию привязки к централизованному серверу метаданных ФС предоставляет практически не ограниченную масштабируемость. Объем хранилища может измеряться петабайтами.

Правда, здесь есть один нюанс. Из-за отсутствия центрального сервера метаданных поиск файлов происходит на всех серверах, и это может отрицательно сказаться на производительности. По этой причине ФС GlusterFS наиболее эффективна для хранения больших файлов, т.к. время поиска с лихвой компенсируется временем их загрузки.

Коротко об остальных возможностях ФС:

  • можно использовать любое оборудование (подойдет даже ARM);
  • работает через стандартные протоколы NFS, SMB/CIFS или нативный клиент;
  • автоматическое обнаружение отказа отдельного хранилища (Brick Failure Detection);
  • возможно создание снапшотов отдельных файлов;
  • возможно сжатие данных при передаче по сети;
  • поддерживается шифрование данных дисковых разделов на стороне сервера с использованием ключей, доступных только клиенту. При этом шифруется лишь содержимое файлов, имена и метаданные остаются незашифрованными. Шифрование не применимо при использовании NFS;
  • оптимизирована для использования в качестве распределенного хранилища образов виртуальных машин (ВМ);
  • интеграция с QEMU и Samba, позволяющая организовать прямой доступ к данным, хранимым в GlusterFS, без монтирования раздела;
  • может использоваться в качестве первичного хранилища в OpenStack;
  • механизм zerofill позволяет заполнять нулями новые образы ВМ;
  • поддерживается асинхронная георепликация по модели master–slave.

Примечание. FUSE – это модуль ядра в ОС UNIX и Linux, который является своего рода посредником между пользовательским пространством и пространством ядра. FUSE предоставляет интерфейс ядра (API), с помощью которого непривилегированные процессы получают доступ к низкоуровневым механизмам ФС (посредством VFS). Благодаря этому можно написать свою собственную ФС, которая будет обладать практически всеми возможностями низкоуровневой ФС, но работать с правами обычного пользователя. Конечно же, наличие данной прослойки сказывается на производительности ФС, но сегодня даже среднее по производительности оборудование может компенсировать этот недостаток. Наиболее известные ФС, использующие механизм FUSE: SSHFS (SSH Filesystem), EncFS (Encrypted Filesystem), NTFS-3G.

GlusterFS сегодня

Работа над GlusterFS была начата в 2005 году. В 2011-м проект приобретен компанией Red Hat и лег в основу Red Hat Storage Server [1]. Сегодня код ФС полностью открыт, а проект Gluster трансформирован в новое сообщество для разработки свободных проектов, связанных с системами хранения данных [2]. GlusterFS используют Pandora, Box.net, Samsung, Autodesk, Deutche Bank – и это лишь те компании, которые я смог отыскать.

Архитектура

GlusterFS имеет клиент-серверную архитектуру, расширяемую за счет различных модулей (трансляторов).

Серверы здесь – это узлы хранения (Storage Node). На каждом таком узле работает служба glusterd, которая предоставляет доступ клиентам к локальным ФС. Одна экспортируемая файловая система узла хранения называется «brick» (кирпич).

В статье я также буду использовать термин «подтом». Таких кирпичей на одном сервере может быть множество. Например, на одном диске или массиве может быть несколько разделов с различными ФС, каждая из которых будет отдельным кирпичом.

Несколько серверов объединяются в кластер или пул хранения данных (Trusted Storage Pool), в терминологии GlusterFS. В рамках пула хранения подтома на различных узлах объединяются в логические тома (volumes) различной конфигурации. Клиентская часть, взаимодействуя с узлами кластера, совершенно прозрачно для приложений монтирует логический том посредством механизма FUSE.

На одном компьютере допускается работа как серверной, так и клиентской части.

Статью целиком читайте в журнале «Системный администратор», №10 за 2014 г. на страницах 14-20.

PDF-версию данного номера можно приобрести в нашем магазине.


Комментарии отсутствуют

Добавить комментарий

Комментарии могут оставлять только зарегистрированные пользователи

               Copyright © Системный администратор

Яндекс.Метрика
Tel.: (499) 277-12-45
E-mail: sa@samag.ru