АЛЕКСЕЙ БЕРЕЖНОЙ, независимый консультант, системный архитектор, специалист по системам виртуализации, хранения данных и резервного копирования, alexey.berezhnoy@tech-center.com

Такие разные российские СХД

В статье пойдет речь о российских системах хранения данных. Рассказывается об их интересных особенностях, ключевых преимуществах и позиционировании на рынке

О российских разработчиках СХД

Говоря о развитии систем хранения данных в России, можно выделить три основных направления.

1. Выдача импортного оборудования за отечественное

Здесь все просто. Заключается ОЕМ-соглашение, после чего импортное оборудование продается под маркой российского бренда. Недобросовестные поставщики и вовсе могут просто приобрести дешевые NAS малоизвестных фирм, наклеить новые этикетки – и вот уже родился «новый отечественный продукт в рамках импортозамещения». Разумеется, это не более чем приспособленческий ход, эксплуатирующий нездоровый ажиотаж вокруг курса на российское производство. Если так называемый российский производитель не потрудился внести какое-то улучшение в продаваемый товар, то назвать это творение «российским продуктом» язык не поворачивается.

2. Переделка серверов в СХД

Берется USB-флешка с записанным дистрибутивом для построения программных NAS, например FreeNAS, NAS4Free, OpenMediaVault, RockStor, вставляется в USB-порт сервера (все равно какого, лишь бы подешевле) и настраивается загрузка системы с этой флешки.

Создателей подобных «супер-СХД» абсолютно не волнует, что даже такая простая система хранения требует тщательного подбора комплектующих, адаптации системного ПО под имеющееся аппаратное обеспечение, проведения множества проверок, нагрузочного и стрессового тестирования, дополнительного создания системы восстановления, мониторинга и управления. И, самое главное, нужны предпродажная подготовка, документирование, развитая техподдержка, скрупулезное исполнение гарантийных обязательств.

Одно дело – экспериментировать в домашних условиях и совсем другое – создавать СХД для промышленного применения.

В итоге подобная система под нагрузкой может не выдавать ту производительность, которая от нее ожидалась, а первый серьезный сбой способен похоронить все данные.

Сейчас на российском рынке можно встретить очень достойный продукт, интересную разработку, замечательное решение. Но только когда создатель системы хранения данных имеет достаточную экспертизу в этом вопросе. И сколько времени, сил нужно потратить, чтобы приобрести глубокие знания? Сколько документации нужно прочесть, сколько провести тестов, сколько собрать прототипов из отдельных комплектующих? О таких энтузиастах своего дела и пойдет речь ниже.

3. Настоящие производители СХД

Это компании и, главное, люди, работающие в этих компаниях, которые по-настоящему болеют за свою страну, за свой продукт и желают создать действительно классную систему. Да, возможно, в ней будут присутствовать «инородные элементы» в виде импортных комплектующих (иногда и собранных устройств). Но глядя на колоссальный объем работ, который проделали честные российские производители в плане доработки, адаптации, тестирования, предпродажной подготовки и дальнейшего обслуживания своих продуктов, назвать их «нероссийскими» язык не поворачивается.

Нужные и полезные функции в современной СХД

Кэширование данных на SSD

Традиционные шпиндельные жесткие диски (HDD) пока сохраняют одно неоспоримое достоинство: большой объем за низкую цену. Идущие на смену SSD накопители превосходят их во всем, кроме цены за гигабайт.

Современная СХД позволяет использовать часть SSD для кэширования данных медленного пула из HDD, что дает возможность сочетать дешевизну и вместительность традиционных HDD и высокую производительность SSD, в первую очередь для скорости чтения.

Создание моментальных снимков

Функция создания моментального снимка (snapshot) давно стала стандартом де-факто для систем хранения данных.

Моментальный снимок – это замороженное состояние набора данных, созданное в определенный момент времени и доступное только для чтения. Например, можно создавать моментальные снимки базы данных и серверов приложений, чтобы сохранить историю состояния данных на выбранные моменты времени.

Технология моментальных снимков используется для клонирования наборов данных, резервного копирования и других операций.

Тонкие диски

Современные СХД поддерживают функцию «тонких дисков». Это позволяет эффективно использовать имеющийся объем для хранения. Выделение недостающего пространства происходит при обращении к блоку.

Во многих СХД по умолчанию сразу создаются «тонкие диски». Однако администратор может заранее инициировать нужное пространства («растолщить» дисковый том). В этом случае потом не придется тратить время и ресурсы на динамическое расширение.

Проверка целостности хранящихся данных

Любая СХД должна обеспечивать целостность данных. При этом сама информация на носителях (как HDD, так и SSD) может быть подтверждена.

СХД должна время от времени выполнять в фоновом режиме проверку консистентности хранимых данных.

Выбор российских СХД для этого обзора

Надо отметить, что некоторые достаточно неплохие продукты не только широко не рекламируются – о них настолько мало информации, что говорить о каком-либо массовом присутствии на рынке не приходится.

Консервативность потребителя в отношении новых производителей и брендов также не способствует продвижению.

Подытожив все вышесказанное, из широкого спектра решений я выделил три совершенно разных направления, которые показались мне достаточно интересными.

ПОЛИБАЙТ (Resilient Cloud Storage)

Распределенная СХД ПОЛИБАЙТ – разработка компании RCNTEC (OOO «АРСИЭНТЕК») [1].

Ключевое преимущество СХД ПОЛИБАЙТ – возможность горизонтального масштабирования до сотен петабайт в рамках единой системы хранения.

Система имеет альтернативное наименование Resilient Cloud Storage (RCS) для позиционирования на зарубежном рынке [2].

Примечание. При рассмотрении этой СХД потребуется немного изменить свое представление о подходе к хранению данных. Поэтому ей я уделил больше всего внимания в данном обзоре. Внутренняя организация других СХД выглядит более привычно для большинства ИТ-специалистов.

Общее описание ПОЛИБАЙТ

АРСИЭНТЕК предлагает отойти от стандартного взгляда на СХД как на вертикально масштабируемое устройство в виде контроллера (Controller Enclosure) с возможностью подключения нескольких дисковых полок (Disk Enclosure). Информация, записанная на ПОЛИБАЙТ, хранится не на выделенной raid-группе дисковой полке, а равномерно распространяется между дисками всех узлов (модулей хранения). При этом каждый из этих узлов полностью взаимозаменяем, может быть временно исключен из состава СХД на период обслуживания. Система расширяется добавлением дополнительных узлов хранения.

Когда используются традиционные системы хранения – одиночные или продублированные контроллеры, доступный объем можно нарастить путем подключения дополнительных дисковых полок. Но интерфейсы передачи данных, оборудование для доступа к накопителям (RAID или JBOD-контроллеры), системные ресурсы (процессор, память) недоступны для обновления в рамках управляющего модуля. Некоторые традиционные СХД допускают частичную модернизацию, например добавить кэш, установить дополнительную интерфейсную плату для LAN или FC-соединения. Но рано или поздно они достигают потолка своей производительности.

В СХД ПОЛИБАЙТ нет традиционных комплектов в виде отдельных контроллеров с дисковыми полками – каждый модуль хранения берет на себя часть функций контроллера. Общее число таких узлов может достигать десятков и сотен. Установка новых модулей увеличивает общую емкость за счет добавленных дисков и общую производительность за счет добавленных процессоров/RAM. Данные при этом прозрачно перераспределяются по модулям. В итоге с увеличением количества модулей вместе с объемом растут производительность и общая пропускная способность интерфейсов.

Работоспособность ПОЛИБАЙТ не зависит от единственного контроллера, как в случае с традиционной системой. Клиенты общаются напрямую с модулями хранения данных, что позволяет создавать легко масштабируемые системы хранения.

Стоит отметить интересную реализацию быстрого восстановления и автоматической балансировки данных. В случае отказа отдельного накопителя или целого модуля система самостоятельно задействует режим автоматического восстановления, сама восстановит избыточность данных, используя доступное свободное пространство. Таким образом, при выходе из строя одного накопителя или целого модуля нет необходимости срочно проводить замену, пока есть свободное пространство. Снижение быстродействия при этом минимально.

СХД ПОЛИБАЙТ обладает полным набором вышеописанных полезных функций:

• кэширование на SSD;
• моментальные снимки, клонирование;
• «тонкие» диски;
• проверка целостности хранящихся данных.

Подключается к потребителям интерфейсами:

• Ethernet 10 или 40 Гбит/с;
• FibreChannel 8 или 16 Гбит/с.

Поддерживает методы доступа:

• блочные – RBD, iSCSI, FC;
• файловые – CIFS, NFS;
• объектный – S3 (Amazon).

Краткое описание внутреннего устройства

Так как данная система совсем не похожа на традиционные СХД с контроллером и несколькими дисковыми полками, то стоит немного подробнее рассказать о том, как она устроена изнутри.

Как уже было сказано выше, СХД ПОЛИБАЙТ состоит из нескольких модулей хранения – они содержат в себе диски и обрабатывают запросы клиентов. Модули могут быть одинаковой или различной конфигурации и могут сочетать в себе SSD и HDD-диски. Носители одного типа объединяются в пулы дисков. На этих пулах дисков организуются пулы хранения (на одном пуле дисков может располагаться несколько пулов хранения). Это позволяет повысить уровень безопасности, изолируя информацию от разных клиентов (ДМЗ, ЦОД, VDI и других) в отдельных пулах.

Для репликации данных и взаимодействия с клиентами в состав СХД входят интерконнекты (см. ниже) с интерфейсами Ethernet 10 Гбит/с.

В СХД ПОЛИБАЙТ используется своеобразный механизм хранения информации – данные разбиваются на объекты унифицированного размера, которые равномерно распределяются по носителям в пуле пропорционально их емкости.

Существует два метода обеспечения отказоустойчивости.

1. Репликация. Каждая часть информации (объект) хранится в нескольких копиях. По умолчанию есть три реплики: первичная и две копии. Можно задать свои пользовательские настройки для пула и другое количество реплик. Данный способ позволяет сразу получить доступ к данным при выходе из строя диска или целого модуля хранения (или даже целой стойки, если доменом избыточности определить стойку), при этом информация берется сразу из вторичной копии, которая объявляется главной. Восстановление избыточности происходит в фоне, при этом для доступа к данным с погибших дисков не нужно читать информацию сдругих дисков, а затем воссоздавать ее – сразу происходит перенаправление на копию.

Данный метод используется, когда важна максимальная производительность даже при восстановлении избыточности.

Примечание. Почему по умолчанию три реплики, а не две? Объемы дисков HDD и SSD уже достигают 10-15 Тб. Стоит учесть, что выйти из строя может не единичный диск, а целый модуль хранения (14 дисков). Восстановление избыточности займет достаточно длительное время. При использовании 2X-репликации в момент сбоя часть данных будет иметь одну реплику. Если во время восстановления избыточности выйдет из строя еще один носитель, на котором осталась единственная копия части данных, то информация будет потеряна безвозвратно. Поэтому по умолчанию используется 3X-репликация.

2. Erasure coding. По сути, это близкий аналог RAID K+M (например, RAID6), только вместо отдельных накопителей в RAID-группе используются целые модули. Записываемая информация точно так же разбивается на объекты унифицированного размера. Каждый блок данных дробится на К фрагментов (переменная K может принимать различные значения, например, К=4) и распределяются по модулям в количестве К штук. Избыточность кодируется добавочными фрагментами в количестве M, которые размещаются на модулях в количестве М штук.

Рекомендуемая конфигурация ПОЛИБАЙТ включает:

• три координатора (контроллера, в доступе к данным не участвуют, осуществляют мониторинг работоспособности);
• три и более модулей хранения;
• комплект интерконнектов;
• три модуля управления питанием (в каждую стойку по одному).

Поскольку система масштабируемая, рекомендуется сразу логически организовывать ее в три стойки, чтобы упростить наращивание объема. Три стойки позволяют физически и наглядно выделить три домена отказоустойчивости – это удобно при проведении регламентных работ в ЦОДах, требующих отключения электропитания стоек. При этом даже три стойки позволяют получить дисковое пространство в несколько петабайт.

На рис. 1 мы видим три стойки Rack 1, Rack 2 и Rack 3, каждая из которых содержит свою часть необходимого оборудования. Вместе они составляют распределенную СХД. Ниже идет краткое описание элементов СХД ПОЛИБАЙТ.

Рисунок 1. Упрощенная схема СХД ПОЛИБАЙТ (Resilient Cloud Storage или RCS)

Модули хранения (Data Module)

Распределены по стойкам для обеспечения балансировки и отказоустойчивости. Их цель, как и следует из названия, – хранение и обработка информации. По рекомендации разработчика количество таких модулей нужно увеличивать по три (если используется 3Х-репликация) и устанавливать равным количеством в каждую стойку.

Координаторы

Модули для автоматического контроля и управления элементами СХД ПОЛИБАЙТ. Они не принимают непосредственного участия в обмене данными между модулями хранения и клиентами (последние общаются напрямую). Достаточно трех координаторов для работы очень больших систем в сотни модулей хранения.

Интерконнекты

Используются для связи с клиентами, а также для взаимодействия других модулей между собой. (На рис. 1 изображены в виде сети 10/40 Гбит/с Data Ethernet Network и 1 Гбит/с Management Ethernet Network.)

Resilient Power Control Module (RPCM)

Фактически это Smart-PDU [3] – позволяет осуществлять контроль за электропитанием отдельных выходов, защищает от коротких замыканий и перегрузок, имеет собственный встроенный модуль мониторинга системы (на рис. не изображены). Это собственная разработка компании АРСИЭНТЕК. RPCM – это самостоятельный продукт, который может использоваться в самых разных ИТ-инфраструктурах: от майнинговых ферм и ЦОД до небольших предприятий среднего и малого бизнеса.

Производитель позиционирует свою систему хранения для любых задач, требующих масштабирования и роста данных: системы виртуализации, базы данных, системы резервного копирования, видеонаблюдение, архивы. Для высокопроизводительных приложений используются SSD, для дешевого хранения больших объемов – HDD-диски.

АС-ДСХД

В качестве вводной информации стоит отметить, что архитектура АС-ДСХД – это полностью противоположный подход по сравнению с рассмотренной выше Resilient Cloud Storage от компании АРСИЭНТЕК.

Производитель АС-ДСХД – ООО «Фирма “АС”», признанный разработчик программного обеспечения для архивных и библиотечных хранилищ [4].

Самый известный проект – Президентская библиотека им. Б.Н. Ельцина в Санкт-Петербурге.

Аббревиатура ДСХД расшифровывается как Долговременная Система Хранения Данных [5].

Главный приоритет АС-ДСХД – сохранность в течение длительного времени. Вторым важным показателем можно назвать предоставление максимально большого объема при самой низкой цене.

Задача долговременного хранения отнюдь не означает просто записать куда-то файлы. Информация на ДСХД должна храниться пять, десять, пятьдесят лет… За это время с самой СХД может произойти что угодно. И дело не только в пресловутой ошибке Cold Error.

Например, за этот срок все аппаратное обеспечение не только успеет выйти из строя, но и к тому же комплектующие и запчасти окажутся снятыми с производства. Из-за этого необходимо обеспечить не только надежность размещения, но и непрерывность хранения. В АС-ДСХД это достигается универсальностью операционной системы, допускающей полную замену контроллера и полок. Разумеется, при этом понадобится полная остановка и выключение СХД.

Поэтому разработчики Фирмы «АС» уделили большое внимание вопросам совместимости аппаратного обеспечения и встроенного ПО. АС-ДСХД – система с открытой архитектурой, допускающей установку дополнительных модулей оперативной памяти, сетевых адаптеров, SAS-контроллеров для подключения новых дисковых полок, добавления кэширующих SSD, замены процессоров на более мощные и так далее. Вплоть до замены центрального контроллера целиком без потери хранимых данных.

Еще одним из направлений использования АС-ДСХД является перемещение очень больших объемов данных за короткое время. Для этого используются две схожие между собой системы (желательно идентичные). Вместо того чтобы передавать данные по внешним каналам связи или перевозить СХД целиком, Фирма «АС» предлагает перемещать между ЦОД только сами накопители и конфигурационный файл. А другая АС-ДСХД на новом месте после записи конфигурационного файла самостоятельно определит созданные на дисках массивы и интегрирует их в систему хранения.

Исходя из описанных выше требований в АС-ДСХД реализован самый простой традиционный подход к системе хранения: контроллер с возможностью подключения нескольких дисковых полок по интерфейсу SAS.

Для повышения скорости обмена данными Фирма «АС» предлагает использовать высокопроизводительные контроллеры СХД с мощным процессором и большим объемом памяти, начиненные большим количеством SSD для кэширования операций. Основной объем данных при этом хранится на жестких дисках (HDD), размещенных в дисковых полках.

Другой вариант поставки – единый модуль СХД с большой плотностью размещения жестких дисков (Big NAS).

Основой для работы АС-ДСХД и взаимодействия с внешним миром является встроенное ПО AS-Storage. Это усеченный вариант UNIX like операционной системы с поддержкой файловой системы ZFS.

Очень многое из того, что поддерживает ZFS, доступно и в АС-ДСХД. Среди известных возможностей:

• RAID-mirror (аналог RAID1),
• RAID-Z1 (аналог RAID 5),
• RAID-Z2 (аналог RAID6),
• RAID-Z3 (работоспособность при выходе из строя до трех HDD);
• составные пулы из нескольких RAID,
• добавление массивов в пул и так далее.

АС-ДСХД для подключения к потребителю использует сетевые контроллеры семейства Ethernet: Gigabit Ethernet, 10 Gigabit Ethernet.

Возможна агрегация сетевых интерфейсов по протоколу LACP.

Поддержка методов доступа:

• блочные – только iSCSI;
• файловые – CIFS/SMB, NFSv3 и NFSv4, AFP, FTP, Unison;
• возможность резервного копирования на основе Rsync.

Помимо основного направления – архивное хранение, АС-ДСХД хорошо подходит для всех задач, где требуется большой объем за минимальную цену.

Среди таких направлений можно отметить резервное копирование. Например, такой сценарий, когда образы серверов для Disaster Recovery сохраняются на АС-ДСХД, а резервные архивные копии записываются на ленточные накопители.

Рисунок 2. Пример использования АС-ДСХД в составе системы резервного копирования

Также АС-ДСХД используется для таких «пожирателей объема», как сохранение информации с камер наблюдения, запись звонков в Call-центры и так далее.

Из-за невысокой цены АС-ДСХД выглядит привлекательным решением для среднего и малого бизнеса. Для малого бизнеса также разработаны устройства в виде небольших настольных систем хранения (NAS).

В то же время подобная система не подходит для создания гибких масштабируемых универсальных систем.

RAIDIX

Компания RAIDIX («Рэйдикс») была создана в 2009 году специалистами в области СХД и учеными-математиками [6].

В отличие от большинства российских производителей СХД этот разработчик производит не готовые системы хранения «под ключ» (программно-аппаратный комплекс), а программное обеспечение для установки на серверные модули с целью превращения их в систему хранения данных.

В этом плане RAIDIX стоит в одном ряду с известными зарубежными разработками, такими как NexentaStor и Open-E.

Технические особенности ПО RAIDIX

Основным достоинством, по заявлению самих разработчиков, являются уникальные алгоритмы, разработанные российскими математиками с целью оптимизации функций хранения и чтения-записи. В качестве основы используется один из дистрибутивов Linux.

Стоит отметить наличие уровней RAID K+M c высокой степенью защиты, например RAID7.3 с возможностью сохранения целостности информации при выходе из строя сразу трех дисков в массиве.

В версии 4.6 появилась возможность использования энергонезависимой памяти (NVDIMM-N) для защиты кэша на запись.

Также СХД на базе RAIDIX может быть подключена к клиентским машинам с Linux с использованием InfiniBand Mellanox ConnectX-4 100 Гбит/с.

Стандартная реализация отказоустойчивости в RAIDIX предполагает конфигурацию в режиме двухконтроллерного кластера Active-Active.

Компания RAIDIX также предлагает своим клиентам попробовать воспользоваться распределенными файловыми системами сторонних производителей, например IBM GPFS или Gfarm.

Поддержка методов доступа:

• блочные – iSCSI, Fibre Channel, 12G SAS;
• файловые – CIFS/SMB, NFSv3 и NFSv4, AFP, FTP.

Поддерживаемые высокоскоростные каналы связи InfiniBand (FDR, QDR, DDR, EDR).

Программное обеспечение RAIDIX распространяется через партнеров в виде установленного ПО в составе готовых СХД.

RAIDIX RASP

Несмотря на то что данная статья посвящена СХД на базе SSD и HDD, рассказ о продуктах компании «Рэйдикс» был бы неполным без упоминания данной разработки.

Это программное обеспечение для работы с роботизированной библиотекой Panasonic freeze-ray™ на оптических дисках.

RAIDIX RASP представляет собой схему из двух блоков: устройство с установленной системой RAIDIX в роли инициатора и хранилище в роли таргета. На оптическом хранилище размещаются «холодные» данные, в то время как на устройстве с RAIDIX развернуто хранилище часто используемых «горячих» данных.

Блок с RAIDIX взаимодействует с потребителями через сетевые адаптеры семейства Ethernet: Gigabit Ethernet или 10 Gigabit Ethernet.

Основой решения служит виртуальная файловая система RaspFS, позволяющая организовать кэширование.

Фактически RAIDIX RASP реализует функции NAS, обеспечивая доступ по протоколам CIFS/SMB, Samba, NFS, AFP и FTP.

Какую систему выбрать?

Как видим, в России есть интересные и перспективные разработки. При этом самые разные.

На мой взгляд, при выборе системы хранения данных ИТ-специалистам следует ориентироваться непосредственно на стоящие перед ними задачи.

Если нужна низкобюджетная СХД для хранения архивов в комплекте с ПО для сканирования, размещения, индексации, поиска и просмотра документов, стоит посмотреть в сторону разработок ООО «Фирма “АС”». Также разработки АС-ДСХД могут пригодиться совсем малому бизнесу в виде обычных небольших NAS.

При наличии достаточного количество разнопрофильных специалистов или денежных средств можно попробовать создать вместе с партнерами RAIDIX уникальную систему хранения данных, использующих специальные алгоритмы для ускорения операций. Например, такой подход используется в некоторых видеостудиях и других узкоспециализированных областях.

Если нужно поддерживать работу в режиме 24/7, когда требуется универсальная, надежная, легко масштабируемая система с встроенными функциями мониторинга и снятия статистики, – в этом случае лучше выбрать ПОЛИБАЙТ (Resilient Cloud Storage). Данная СХД также подойдет не только для крупных инфраструктурных решений, но и для небольших задач, прекрасно вписываясь в модель среднего бизнеса. При этом заказчик может инвестировать свой капитал постепенно, шаг за шагом наращивая систему хранения, не испытывая проблем при замене и модернизации аппаратного и программного обеспечения и ни на секунду непрерывая работу СХД.

1. Сайт СХД ПОЛИБАЙТ – http://полибайт.рф/ru.
2. Сайт компании ООО «АРСИЭНТЕК», страница, посвященная Resilient Cloud Storage (RCS) – http://www.rcntec.com/ru/produkty/sistema-hraneniya-dannyh-resilient-cloud-storage.
3. Сайт системы управления питанием Resilient Power Control Module (RPCM) – https://rpcm.pro/ru.
4. Сайт компании «Фирма “АС”» – http://asntl.ru.
5. Сайт продукта АС-ДСХД – http://nas-storage.ru.
6. Сайт компании «Рэйдикс» – http://www.raidix.ru.

Комментарии могут оставлять только зарегистрированные пользователи