Эволюция RAID6

 ПОЛИНА ТРОФИМОВА, директор по маркетингу и продажам, компания AvroRAID

Эволюция RAID6

Считается, что RAID5 по эффективности превосходит RAID6. Прогресс в мире аппаратного и программного обеспечения заставляет специалистов ЦОД пересмотреть отношение к RAID6

Какой тип RAID-массива предпочесть: RAID5 или RAID6?

Обычная задача: необходимо предоставить дисковый массив со следующими требованиями:

• Значительный размер дисковой подсистемы (более 10 Тб) за разумный бюджет.
• Достаточная надежность решения: возможность работы при выходе из строя одного или двух дисков.
• Высокая скорость чтения и записи на потоковом и случайном чтении и записи.

Первое условие ставит под сомнение применение RAID10, в котором объем полезного пространства составляет только половину от всех дисков в массиве. Второе условие предполагает защиту уровня RAID5 или RAID6, но третье для многих означает полный отказ от RAID6. Такой ход рассуждений ни у кого не вызывает сомнений, но в последнее время активно набирает обороты технология программного RAID, применение которого заметно меняет отношение к RAID6.

Исторически наиболее распространенным вариантом обеспечения отказоустойчивости дисковых массивов является RAID5. Она хороша тем, что гарантирует высокую скорость обмена данными за счет распараллеливания записи и чтения на несколько дисков и при этом реализует возможность восстановления данных при выходе из строя одного из них.

С ростом объема перерабатываемой информации повышаются требования к СХД по емкости хранения. Ее можно наращивать путем увеличения количества жестких дисков, однако при этом уменьшается надежность СХД. Это связано с рядом причин.

Во-первых, каждый дополнительный диск увеличивает время реконструкции массива, так как возрастает количество контрольной информации, которую необходимо обработать. При реконструкции RAID-массива происходит полное считывание всего дискового пространства и вычисление потерянных данных путем сравнения оставшихся данных и контрольной суммы. Это в большинстве СХД приводит к снижению производительности. Во-вторых, как заявляют производители жестких дисков, вероятность возникновения невосстановимой ошибки чтения (UER) составляет около 1 блока (512 б) на 1014 бит данных (для дисков SATA). То есть с увеличением количества дисков и их объема повышается вероятность появления сбойного блока, что, в свою очередь, может стать причиной прерывания реконструкции и полной потери данных. В случае использования RAID5, если на одном из уцелевших дисков в момент реконструкции появляется еще одна ошибка чтения, она уже не может быть устранена. Соответственно массивы RAID5 размером более 12 Тб создавать опасно, поскольку велика вероятность потери данных в момент реконструкции массива.

Кроме упомянутой выше проблемы с UER, существуют и другие. Например, с увеличением количества дисков повышается вероятность того, что одновременно могут выйти из строя сразу несколько устройств. Выход из строя (отказ) диска может быть обусловлен его износом либо аппаратной неисправностью на этапе производства (неисправность двигателя, поломка головки). Статистические данные свидетельствуют о том, что ежегодный процент отказов жестких дисков находится в нелинейной зависимости от их срока службы.

Также стоит учитывать, что жесткие диски в массиве устанавливаются одновременно и эксплуатируются с практически одинаковой нагрузкой, что приводит к одновременной выработке ресурса. Как следствие, диски в массиве выходят из строя примерно в одно и то же время. Поэтому отказ второго диска в момент реконструкции первого не редкость.

В связи с этим выбор надежной системы хранения данных для корпоративных вычислительных сред, а следовательно, и эффективной технологии создания массивов остается «головной болью». Многие крупные организации используют массивы уровня RAID5. В корпоративных сетях наблюдается тенденция «привязки» множества серверов к одному дисковому массиву. Это приводит к тому, что сбой в системе хранения (а именно выход из строя одновременно двух и более дисков) может вызвать перерывы в работе многих информационных систем.

С учетом этих обстоятельств отчетливо проявляются несовершенства популярной RAID5 и других технологий создания массивов. Существует мнение, что достойной альтернативой может выступать RAID6. Так ли это на самом деле?

Принципиальное отличие технологий объединения дисков в общее пространство – RAID6 и RAID5 – заключается в том, что в RAID6 вычисляются две контрольные суммы, а не одна. Это позволяет в массиве RAID6 восстановить данные после выхода из строя двух жестких дисков. Но при этом под хранение контрольных сумм требуется еще один жесткий диск, и доступное дисковое пространство уменьшается на два диска. Насколько оправдана такая надежность RAID6 с точки зрения экономии дискового пространства?

Как было сказано выше, с увеличением количества дисков и их объема повышается вероятность появления сбойного блока. На 12 Тб данных допустимо возникновение одного невосстановимого блока данных.

Для массивов RAID6 проблема UER не страшна, так как для потери данных в момент реконструкции необходимо появление двух ошибок чтения, причем одновременно в одной полосе (stripe), что маловероятно для существующих размеров массивов.

Специалисты, зная о недостатках RAID5, как правило, прибегают к разбиению больших массивов на несколько отдельных RAID5 с последующим объединением – RAID50. Эта технология обеспечивает достаточную защиту от UER, но малоэффективна с точки зрения проблемы износа дисков. К тому же дополнительная логика, необходимая для объединения массивов, усложняет администрирование и снижает надежность. RAID50 нельзя назвать более экономичным по сравнению с RAID6, поскольку каждый небольшой RAID5 требует отдельного диска для контрольных сумм.

Другой распространенной технологией, уменьшающей вероятность потери данных, является RAID5E, в которой резервный диск spare drive встраивается в массив. При этом на всех дисках массива образуется свободная 1/N часть пространства, которая при отказе одного из дисков используется в качестве горячего резерва.

По сравнению с RAID5, в которой резервный диск (если предусмотрено его использование) простаивает, технология RAID5E отличается лучшей производительностью, но вероятность потери данных во время реконструкции массива, которая в среднем занимает около 24 часов, остается.

Многие производители отдают предпочтение RAID5E (или RAID5EE, часто выдаваемому за RAID6) только потому, что эти технологии требуют меньше вычислительных мощностей и поэтому позволяют получить более высокие показатели скорости. С точки зрения экономичности у RAID5E нет преимуществ перед RAID6.

Недостатки RAID6: настоящие или мнимые?

Считается, что преимущество RAID6 по сравнению с RAID5 (обеспечение защиты от выхода из строя двух устройств без прерывания доступа к данным и без потери данных) является причиной главного недостатка данной технологии – большей стоимости хранения. Стоит остановиться на этом моменте более подробно.

При одинаковом количестве дисков доступный для использования объем RAID6 меньше, чем у RAID5, потому, что в RAID6 под контрольные суммы выделяется два диска, а не один, как в RAID5. На наш взгляд, здесь уместно говорить об относительности данного недостатка: при выборе технологии создания массивов необходимо соотносить требуемую/обеспечиваемую степень надежности решения и стоимость за мегабайт. С объективной точки зрения RAID6 для больших массивов по экономичности сравним с RAID5E и превосходит альтернативную технологию RAID50.

Еще один упоминаемый недостаток RAID6 – низкая производительность. Действительно, двойная схема четности, реализованная в RAID6, требует больших вычислительных мощностей от контроллера. Как следствие, проявляется снижение общей производительности системы. Разумеется, на одной и той же аппаратной платформе RAID6 будет работать медленнее, чем RAID5. Критичность данного факта ставится под сомнение в случае, если производительности RAID-контроллера достаточно для обслуживания имеющегося массива дисков, и он не является узким местом в системе.

В последнее время на рынке СХД обозначился явный интерес к так называемым программным RAID, которые, по сути, представляют собой специализированные x64-серверы для хранения данных.Это направление появилось главным образом как ответ на все более возрастающие требования к функциональности СХД. Популярными мировыми производителями программного RAID уровня предприятия являются решения Open-E и Nexenta. В России, кроме решений на основе Open-E, также предлагаются и продукты компании AvroRAID: AVRORA (для одноконтроллерных системы) и RAIDIX (для двухконтроллерных).

Среди уже практически обязательных функций СХД с программным RAID можно, например, выделить:

• веб-интерфейс управления, позволяющий выполнять все необходимые операции по настройке и управлению системы в наглядном виде без необходимости использования командной строки (SSH) или установки специального управляющего ПО на компьютер администратора;
• разнообразные функции управления и мониторинга производительности, включая приоритизацию полосы пропускания (QoS), зеркалирование, резервирование каналов доступа (MPIO), виртуализацию систем хранения и т.д.

Весь этот функционал требует значительных вычислительных ресурсов, которые не всегда могут быть обеспечены специализированными процессорами, установленными в аппаратных СХД.

Многие ведущие производители оборудования развивают данное направление. Например, Intel включил в свои процессоры специализированные команды, значительно сокращающие время расчета RAID. Intel, HP и Supermicro поставляют на рынок серверные корпуса, предназначенные для создания программных СХД. Свои версии программных СХД выпустили или планируют выпускать практически все известные компании. Широко обсуждаются стандарты СХД, призванные обеспечить совместимость расширенного функционала для виртуализации, облачного хранения данных.

Таким образом, в распоряжение программных СХД поступили современные многоядерные процессоры, обеспечивающие высокую производительность. Объемные вычисления, в том числе характерные для RAID6, теперь не представляют серьезной проблемы и могут быть выполнены достаточно быстро для больших дисковых массивов.

Таблица 1. Отличия систем хранения данных с RAID6 для инфраструктуры SAN с учетом задач, указанных в начале статьи (Fibre Channel 8Gb) в сегменте Entry-Level

Конечная стоимость зависит от комплектации системы хранения и не может быть приведена

Так, например, в решениях компании AvroRAID, реализованных на RAID6, получена скорость потоковой записи/чтения 4 Гб/с (на аппаратной платформе Supermicro с шасси SC846TQ-R900B на 24 SAS-дисках, с двумя дополнительными дисковыми корзинами по 24 SAS-диска; в совокупности 72 SAS-диска), что превышает максимальные показатели производительности аппаратных контроллеров RAID6. При этом средняя загрузка процессора составляет около 10-20%. То есть оставшиеся ресурсы процессора могут быть задействованы для выполнения операций, связанных с расширенным функционалом.

На стандартных тестовых шаблонах (patterns) – FileServer, DabaBase, WebServer, WorkStation, Streaming R/W – СХД на основе AVRORA с 20 дисками SAS значительно превышает результаты СХД с Open-E, установленной на ту же аппаратную платформу.

В дополнение к высокой производительности в программных RAID6 можно отметить следующие особенности и функции:

• Advanced Reconstruction – функция, повышающая скорость обмена данными RAID6 за счет автоматического исключения из массива диска, производительность которого по каким-либо причинам упала ниже допустимой. При этом мощности расчета RAID6 достаточно для того, чтобы с помощью контрольных сумм восстановить информацию, хранящуюся на медленном диске, нежели считывать ее;
• высокая скорость реконструкции массива – около трех часов на RAID6 (по данным AvroRAID) в сравнении с 10-20 часами в аппаратных СХД на RAID6;
• отсутствие снижения производительности СХД в момент реконструкции, что не приводит к задержкам в производственных процессах.

Итак, программные системы хранения данных позволяют эффективно использовать технологию RAID6, свести к минимуму проявление ее недостатков: низкой производительности и высокой стоимости хранения. Применение стандартных серверных комплектующих, как правило, значительно удешевляет систему. С использованием программного RAID6 возможно создание больших массивов данных без применения альтернативных технологий (RAID50), усложняющих логику работы системы.

На практике в связи со статистикой выхода из строя вращающихся (не твердотельных) дисков пределом дисковых массивов с RAID6 считается 48 дисков. Суммарного объема системы с таким количеством дисков, как правило, достаточно для большинства задач.

В случае необходимости большие по размеру массивы могут быть созданы путем объединения в RAID60 или слиянием нескольких массивов на логическом уровне LUN. Кроме того, современные СХД позволяют виртуализировать хранение данных.

Помимо более широкой функциональности, программные СХД имеют еще одно существенное преимущество – они состоят из стандартных, широко распространенных на рынке комплектующих (материнская плата, процессор Intel и AMD, оперативная память и другие).

Недостатком традиционных СХД с аппаратным RAID является длительное время поставки вышедших из строя комплектующих. Кроме того, применение широко используемых компонент значительно снижает общую стоимость решения.

Функциональная составляющая в программных СХД полностью независима от аппаратных компонентов. Таким образом, для приобретения дополнительных возможностей (например, зеркалирование) достаточно только обновить программное обеспечение.

При выборе конкретного решения необходимо опираться на ожидаемые показатели надежности, скорости и эффективности использования.

Системы хранения с программным RAID поставляются готовыми к эксплуатации и не требуют дополнительного конфигурирования.

Стремительное развитие стандартной архитектуры x64 подчиняется известному закону Мура (мощность вычислительных устройств за относительно короткий промежуток времени увеличивается экспоненциально). Сейчас мощностей современных процессоров общего назначения более чем достаточно для обеспечения оптимальной работы RAID6 в программной СХД, а их возможностей – для создания высокоинтеллектуальных СХД, уже совсем не похожих на своего далекого предка – внешний жесткий диск.

Рекордная производительность и надежность СХД на программном RAID6

Для проверки параметров производительности и стабильности при выходе из строя дисков, времени реконструкции массива, которые можно получить на программном RAID6, было проведено тестирование СХД на ПО AVRORA в условиях максимальной нагрузки (см. рис. 1).

Рисунок 1. Тестирование параметров производительности RAID6 в условиях нагрузки видеомонтажа

В лаборатории имитировалась нагрузка, типичная для студий видеомонтажа. Три рабочих станции под управлением Windows Server 2008 R2 с установленным ПО MetaSAN версия 4.6.0 (для предоставления функции разделяемого доступа) были напрямую подключены по двум каналам FibreChannel 8 Гб к системе хранения данных c 24 дисками SATA.

Нагрузка обеспечивалась стандартным средством моделирования нагрузки – IOMeter  – с настройкой различных шаблонов.

По окончании тестирования СХД на RAID6 при работе с медиа-контентом были получены следующие результаты:

• производительность составила 2,6-3 Гб/с на чтение и запись.
• при выходе из строя диска не произошло снижения производительности.
• реконструкция массива была выполнена менее чем за четыре часа.

Рисунок 2. Результаты тестирования

Результаты тестирования программного RAID6 на основе AVRORA и Open-E

Приведенные ниже результаты (см. рис. 2) тестирования систем хранения данных на основе программных продуктов AVRORA и Open-E были выполнены в лаборатории компании AvroRAID на одном и том же аппаратном обеспечении с применением стандартных шаблонов, рекомендованных Intel для тестирования систем хранения данных с помощью IOMeter.

Приведу описание тестового полигона.

СХД на основе AVRORA

• MB – Supermicro X8ST3-F.
• CPU – Intel Core i7 920.
• Memory – Kingsoton DDR3 1333 Non-ECC 6G (3*2G).
• SAS – LSI 3081E-R встроенный в MB и внешний SAS прошиты в режим IT (Версия прошивки 1.26-IT).
• Версия ПО AVRORA – 2256_1.2.36.
• Версия GUI – 1.2.36.
• Диски массива – Hitachi 15K 300 Гб SAS 20 шт.
• Адаптер FC – ATTO 81EN.
• Уровень массива – RAID6 инициализированный.
• Количество параллельных запросов write-back – 240.
• Размер логического диска – соответствует размеру RAID массива (5400 Гб).
• Размер блока – 512 б.

СХД на основе Open-E

Конфигурация аппаратного обеспечения аналогична конфигурации СХД на основе AVRORA за исключением:

• Адаптер FC – Qlogic 2562.
• ВерсияПО – Open-E: Data Storage Software V6.
• Уровень массива – RAID 6 Проведена быстрая инициализация тома.
• Размер чанка – 64 Кб.
• Размер тома – 5400 Гб.
• Размер блока – 512 б.

Сервер-инициатор

• ОС – Windows Srv 2008 R2 Ent 64 bit.
• Iometer – 2008.06.18.
• HBA – ATTO 81EN.

Комментарии могут оставлять только зарегистрированные пользователи