О задаче обновления данных в архивных запасных копиях на жестких дисках

 ЧЕРНЫШОВ А.В., доцент, кандидат технических наук, Мытищинский филиал МГТУ им. Н. Э. Баумана, Мытищи Московской области, sch@mgul.ac.ru

О задаче обновления данных
в архивных запасных копиях на жестких дисках

Рассмотрена задача периодического обновления данных на запасных копиях, выполненных на внешних жестких дисках, систем длительного архивного хранения электронной информации. Построена модель, описывающая в общем виде зависимость максимального объема информации в системе хранения от параметров, характеризующих процесс копирования и свойства используемых носителей запасных копий. По результатам реального эксперимента выполнена оценка скоростей записи и чтения информации для внешних жестких дисков с интерфейсом SATA-3, подключаемых к системе через интерфейс USB-3.0. Выполнена оценка максимально возможного объема сохраняемой информации в системе длительного хранения небольшой организации

Как известно, для повышения надежности хранения информации на дисках серверов различного назначения применяется резервное копирование. При этом в целом уровень надежности хранения информации определяется рядом факторов, среди которых не последнюю роль играют:

• частота выполнения процедуры резервирования информации;
• метод резервирования;
• количество резервных копий информации;
• типы применяемых носителей информации.

Обычно, говоря о резервном копировании, рассматривают системы с регулярно модифицируемой информацией [1, 3, 4]. В таких системах необходимо регулярное выполнение процедуры резервирования информации, а выполненные ранее резервные копии быстро устаревают и теряют актуальность. Следствием этого является небольшая длительность хранения информации на резервных носителях (обычно не более нескольких недель), что автоматически гарантирует целостность записанной на них информации, если только сам носитель не выйдет из строя.

Однако существуют системы, предназначенные для длительного архивного хранения электронной информации. Характерной особенностью таких систем является требование кнеизменности сохраняемой информации в течение длительного (годы, десятилетия) времени [2]. Резервные копии информации, сделанные в таких системах, не нуждаются вобновлении (поскольку не изменяется сама резервируемая информация), хранятся в тех же условиях, что и информация в самих системах: подвержены таким же рискам потери ифактически являются не резервными, а запасными копиями. С технической точки зрения в данном случае уже невозможно однозначно сказать, какая из копий должна рассматриваться как основная, а какая в качестве дубликата.

При оценке надежности хранения информации в таких системах начинает играть роль время сохранения информации на носителе, обусловленное физическими свойствами самого носителя. Например, обычно считается, что гарантированное время сохранения информации на жестком диске составляет около 5 лет, на магнитной ленте – порядка 10 лет [6]. Время сохранения информации на оптических дисках однократной записи (CD-R, DVD-R и пр.) определяется производителями в пределах от 30 лет и более, но на практике ситуация не так однозначна [7]. Иными словами, при длительном хранении информации на носителе без принятия специальных мер информация может быть потеряна даже присохранении полной исправности самого носителя (например, вследствие естественного размагничивания).

Следствием этого является необходимость периодического возобновления информации в запасных копиях. Здесь проблемой может оказаться емкость системы хранения информации, поскольку скорость записи на любой носитель ограничена, а при определенном объеме информации в системе время, необходимое для создания запасной копии, может превысить ожидаемое гарантированное время сохранения информации на носителе.

Попытаемся оценить во взаимосвязи следующие параметры:

• максимально возможный объем информации, сохраняемой в системе;
• заданная надежность сохранения информации;
• тип носителя информации (определяет скорость записи на носитель и время гарантированного сохранения информации).

Построение модели

Для поддержания заданного при проектировании системы уровня надежности хранения информации возобновлять необходимо несколько копий информации [8], а создание каждой копии требует времени, определяемого скоростью записи и чтения информации для используемого носителя.

Пусть суммарный объем информации, сохраняемой в системе, составляет W, а емкость одного носителя для создания запасных копий V. Тогда количество носителей l для создания одной запасной копии будет:

l = [W/V],

где [.] – операция округления до большего целого.

При создании запасной копии для длительного хранения необходимо убедиться, что получившаяся копия является полноценной, то есть что она нормально считывается с носителя исоответствует оригиналу. Поэтому при построении модели будем рассматривать две скорости носителя:

• v_w – скорость записи на носитель;
• v_r – скорость чтения с носителя.

Как правило, v_w < v_r.

Типичная процедура создания запасной копии состоит из четырех шагов:

1. подготовка носителя (например, извлечение носителя из коробки и установка в привод либо подключение к соответствующему интерфейсу компьютера);
2. запись запасной копии;
3. контрольное считывание запасной копии;
4. укладка носителя на хранение.

Этапы (1) и (4) можно рассматривать в совокупности как один этап перехода от одного носителя к другому (смены носителя).

Тогда для создания запасной копии на одном носителе имеем:

• время записи t_w = V/v_w;
• время контрольного считывания t_r = V/v_r;
• время смены носителя tc (определяется типом носителя и степенью автоматизации процесса);
• суммарное время обработки одного носителя t_wr = t_w + t_r + t_c = V·(1/v_w + 1/v_r) + t_c.

Общее время создания одной запасной копии системы (объема W):

t_l = l·t_wr = l·(V·(1/v_w + 1/v_r) + t_c).

Если делается n запасных копий, то общее время создания (возобновления) запасных копий информации в системе составит

t_ln = n·t_l = n·l·(V·(1/v_w + 1/v_r) + t_c) = n·([W/V]·V·(1/v_w + 1/v_r) + l·t_c) (1)

В действительности в данном случае операция [.] является лишней, поскольку запись (и последующее считывание) на носитель будет выполняться только до тех пор, пока естьданные (последний носитель просто будет недописан). Поэтому полученную зависимость можно упростить:

t_ln = n·(W·(1/v_w + 1/vr) + l·t_c).

Исходя из (1), теоретически достижимый предельный объем информации в системе W_max, который может быть обеспечен необходимым количеством запасных копий, можно оценить следующим образом.

Положив:

l_max = [W_max/V],

получим:

l_max = [W_max/V] = t_ln/(n·(V·(1/v_w + 1/v_r) + t_c)),

откуда:

(t_ln/(n·(V·(1/v_w + 1/v_r) + t_c))) – 1 < W_max/V < (t_ln/(n·(V·(1/v_w + 1/v_r) + t_c));

V·(t_ln/(n·(V·(1/v_w + 1/v_r) + t_c))) – V < W_max < V·(t_ln/(n·(V·(1/v_w + 1/v_r) + t_c))

при условии, что t_ln понимается как гарантированное время сохранения на носителе записанной информации.

Полученная оценка для W_max предполагает, что запасные копии делаются без каких-либо перерывов, круглосуточно (24/7/365). На практике далеко не каждый электронный архив может себе позволить такой режим работы.

Поэтому на самом деле имеющееся в нашем распоряжении гарантированное время сохранения записанной на носитель информации t_s должно быть выражено как:

t_s = t_ln + t_f,

где t_f – время простоя процесса создания запасных копий (нерабочее время).

Тогда значение W_max может быть оценено следующим образом:

t_s = t_ln + t_f = n·l·(V·(1/v_w + 1/v_r) + t_c) + t_f;

l_max = [W_max/V] = (t_s – t_f)/(n·(V·(1/v_w + 1/v_r) + t_c));

V·(t_s – t_f)/(n·(V·(1/v_w + 1/v_r) + t_c))) – V < W_max < V·(t_s – t_f)/(n·(V·(1/v_w + 1/v_r) + t_c)).

Для большого объема сохраняемой в системе информации (W_max>>V) имеем: l_max>>1, что при практических расчетах позволяет пренебречь дробной частью отношения Wmax/V. Тогда полученная выше оценка примет более простой вид:

W_max = V·(t_s – t_f)/(n·(V·(1/v_w + 1/v_r) + t_c)).

Модель построена.

Особенности применения модели

В получившейся модели только параметры W и V носят детерминированный характер (для выбранного типа носителя данных запасных копий). Параметр n задается исходя изтребуемого уровня надежности сохранения информации [8]. Остальные параметры носят вероятностный характер. Однако порядок их величин в некоторых случаях можно определить довольно точно.

Например, если считать, что создание запасных копий выполняется только в рабочие дни (5 рабочих дней на каждые 7 дней) и только в рабочее время (8 рабочих часов на каждые 24часа), то отношение рабочего времени ко времени простоя в течение недели составит:

t_ln/t_f = 8·5/(16·5 + 24·2) = 40/128 = 5/16,

то есть величина t_s – t_f = t_ln может быть выражена только через t_s следующим образом:

t_ln = t_s – t_ln·16/5;

t_s = t_ln·(1+16/5);

t_ln = 5·t_s/21;

t_s – t_f = 5·t_s/21.

В общем виде, считая, что отношение tln/tf для любого интервала времени (порядка дней или лет) однозначно определяется из календаря, можно записать:

t_s – t_f = t_s/(1 + t_f/t_ln).

Полученное соотношение необходимо воспринимать только как оценку, поскольку, во-первых, значение параметра t_s не только неизвестно точно, но неизвестен даже закон егораспределения. Так, например, для магнитных носителей существуют только общепринятые его точечные оценки для каждого типа носителя, выработанные многолетней практикой.

Величина t_ln в действительности, как показано выше, тоже является производной других величин, носящих вероятностный характер.

Рассуждая аналогично, можно выполнить вычисление соотношения рабочего и нерабочего времени для интервала 1 год, что позволит учесть и праздничные дни. Здесь мы этого делать не будем.

Параметр t_s, как было сказано выше, определяется типом носителей информации запасных копий (например, считается, что для жестких дисков он примерно равен 5 годам [6]).

Параметр t_c определяется технологией, применяемой при выполнении запасных копий. Например, извлекать носители из коробок и устанавливать их в привод, а также убирать обратно на место хранения может оператор (человек), а может робот в роботизированной системе. Для получения доступа к информации на носителе может быть достаточно просто вставить его в привод и дождаться, пока привод выполнит необходимую начальную инициализацию для работы с носителем, а может быть необходимо выполнить какие-либо предварительные операции вручную, например ввести пароль, открывающий доступ к информации на носителе.

Но наибольшую сложность представляет оценка значений параметров v_w и v_r.

С теоретической точки зрения значения этих параметров определяются довольно точно исходя из характеристик интерфейсов, используемых для подключения носителей (илиприводов носителей) к системе, а также собственно типа носителя, однако на практике на оба параметра скорости (как записи, так и чтения) влияет множество непредсказуемых факторов.

Экспериментальное определение скоростей записи и чтения для внешних жестких дисков

Рассмотрим эксперимент, в результате которого попытаемся оценить значения параметров vw и vr для жестких дисков с интерфейсом типа SATA-3, подключаемых к системе через интерфейс USB-3.0. Эксперимент был проведен на системе хранения данных на дисковом массиве RAID-5. Объем сохраняемых на системе данных – порядка 3 Тб. Запасные копии данных выполняются на внешние жесткие диски, подключаемые к системе посредством интерфейса USB-3.0. Емкость каждого резервного диска V = 50 Гб.

В действительности для создания запасных копий используются стандартные жесткие диски емкостью 1 Тб или 2 Тб. Но для снижения вероятности потери на них информации из-завозможных сбоев файловых систем и уменьшения времени восстановления сбойных разделов диски разбиты на независимые разделы по 50 Гб [9]. При этом на самой системе информация также хранится на разделах объемом по 50 Гб. То есть фактически выполняются запасные копии отдельных разделов, что сильно упрощает организацию процесса резервирования и восстановления.

Согласно стандартам скорость передачи информации по интерфейсу USB-3.0 достигает 5 Гбит/с [12], скорость передачи информации по интерфейсу SATA-3, которым снабжены сами жесткие диски, достигает 6 Гбит/с [11]. Однако практика копирования больших объемов информации показывает, что реальная скорость передачи (и при записи, и при чтении) ограничена физическими особенностями самих дисковых пластин и примерно на порядок меньше.

Эксперимент был проведен в связи с достижением 5-летнего срока хранения информации на внешних дисках и необходимостью обновить хранимую информацию посредством простой повторной записи той же информации на те же самые диски.

Выполнялось копирование информации с дискового сервера системы на внешние диски с помощью стандартной команды Linux (Unix) копирования с безусловной перезаписью файлов, уже имеющихся на внешних дисках (cp -avf). Копирование выполнялось поочередно на каждый внешний диск, то есть в каждый момент времени выполнялось копирование только на один диск. Подключение каждого внешнего диска к компьютеру и его отключение выполнялись вручную и требовали примерно 1 минуты (более точная оценка этого времени в цели эксперимента не входила). Оценка времени копирования выполнялась с помощью стандартной команды оболочки time.

Предварительно по каждому разделу с файлами на системе была свернута контрольная сумма командой md5sum. После записи файлов на очередной диск выполнялось их чтение тойже командой md5sum с проверкой суммы md5. Большой объем записанных на диск данных (порядка 50 Гб) исключал возможность использования при чтении дискового кэша.

Всего была обновлена информация 64 разделов, что с учетом создания двух запасных копий каждого раздела дало 128 замеров. В таблице 1 приведен фрагмент данных замеров.

Таблица 1. Замеры разделов на жестких дисках

По полученным данным замеров были выполнены следующие расчеты:

• скорости записи каждой запасной копии;
• скорости чтения каждой запасной копии;
• максимальной и минимальной достигнутых скоростей записи и чтения.

Дополнительно были рассчитаны коэффициенты корреляции между:

• объемом данных в резервируемом разделе и временем записи/чтения;
• объемом данных в резервируемом разделе и скоростью записи/чтения;
• количеством файлов в резервируемом разделе и временем записи/чтения;
• количеством файлов в резервируемом разделе и скоростью записи/чтения;
• средним размером файла в резервируемом разделе и временем записи/чтения.

Расчеты коэффициентов корреляции выполнялись с помощью программы LibreOffice Calc [10] с применением стандартной встроенной статистической функции correl().

Расчеты показали, что:

• время резервирования раздела сильно зависит от объема информации, сохраняемой на разделе;
• время резервирования раздела мало зависит от количества файлов, сохраняемых на разделе, и от среднего размера файла;
• скорость записи/чтения практически не зависит ни от объема данных, сохраняемых на разделе, ни от количества файлов, однако при этом она не является постоянной дляразных экземпляров носителей (разделов).

Была построена гистограмма распределения частот скоростей записи и чтения (см. рис. 1).

Рисунок 1. Гистограмма распределения частот скоростей записи и чтения

Как можно видеть на гистограмме, частоты скорости чтения информации ожидаемо группируются вокруг одного максимума. Однако для частот скорости записи все не такоднозначно – наблюдается два отчетливых максимума, отличающихся по значению скорости приблизительно вдвое. Более того, в нескольких случаях было обнаружено, что скорость записи на носитель превышает скорость чтения. Объяснить эти явления можно только неизвестными особенностями конструктивных решений конкретных экземпляров жестких дисков.

В связи с обнаруженными особенностями становится очевидно, что оценить значения скоростей записи и чтения через расчет параметров какого-либо стандартного распределения вероятностей невозможно. Поэтому ограничимся расчетами среднего значения и СКО каждой скорости.

Статистическая обработка замеренных скоростей записи и чтения с помощью стандартных функций LibreOffice Calc average() и sqrt(var()) дала следующие результаты (см. таблицу2).

Таблица 2. Статистика замеренных скоростей записи и чтения

Оценка максимального объема информации, сохраняемой в системе

Пользуясь полученными оценками скоростей записи и чтения, оценим теоретически возможный объем информации, который может храниться в системе для случая выполнения запасных копий на внешних жестких дисках, подключаемых к системе через интерфейс USB-3.0. Такой способ изготовления запасных копий может быть полезен для локального архива информации небольшой организации, которая не может позволить себе содержать полноценный отдел ИТ.

Поэтому в качестве дополнительных условий выберем следующие:

• подключение к системе внешних дисков для изготовления запасных копий выполняется вручную;
• время смены носителя tc выберем равным 1 мин (60 с);
• емкость одного носителя (раздела) V=50 Гб;
• для количества изготавливаемых запасных копий n рассмотрим варианты 1, 2, 3;
• будем считать, что обслуживание системы (и в том числе изготовление запасных копий) выполняет администратор, работающий по совместительству, то есть 4 часа в день;
• время гарантированного сохранения информации на жестком диске ts примем равным 5 годам (157 766 400 с учетом только одного високосного года в течение периода в 5 лет);
• учтем нерабочие и праздничные дни в течение года.

Для выполнения расчета t_ln/t_f воспользуемся производственным календарем на 2017 год [5].

Согласно календарю, из 365 дней на долю выходных и праздничных приходится 118 дней и, соответственно, 247 рабочих дней. Как правило, соотношение рабочих и праздничных дней остается постоянным от года к году, однако в 2016 (високосном) году при 247 рабочих днях было 119 выходных и праздничных.

Поскольку наш расчет носит оценочный характер, не будем учитывать это отклонение, тем более что при округлении до второго знака после запятой соотношения 119/247 и 118/247дают одно и то же значение 0,48.

Расчет отношения tln/tf достаточно выполнить в часах:

t_ln/t_f = 247·4/(247·20+118·24) = 0,13.

Тогда

t_s – t_f = t_s/(1 + 1/0,13) = t_s/8,69.

Расчет W_max выполним для наименьших (пессимистический расчет), средних и максимальных (оптимистический расчет) значений скоростей чтения и записи. Результаты расчетов представлены в таблице 3.

Таблица 3. Расчет W_max

Полученные расчетные данные соответствуют случаю, когда администратор системы, работая на указанных выше условиях, занимается только изготовлением запасных копий информации. На практике у него довольно обширный круг других обязанностей, поэтому в реально эксплуатируемой системе допустимый объем сохраняемой информации будет значительно меньше (конкретные значения зависят от доли общего рабочего времени администратора, которую он тратит на изготовление запасных копий).

Во всяком случае, глядя на результаты расчетов (и с учетом того, что необходимо изготовление хотя бы двух запасных копий, одна из которых должна храниться на удаленной площадке), можно сказать, что вряд ли электронный архив при таком способе создания запасных копий сможет иметь емкость больше 200-250 Тб, а скорее всего его максимальная емкость не сможет превысить 170 Тб. Но при этом емкость в 50-60 Тб представляется вполне реально реализуемой технически.

Заключение

В статье рассмотрена задача обновления данных в архивных запасных копиях длительного хранения, выполненных на жестких дисках. Эта задача является следствием естественного размагничивания с течением времени магнитного слоя диска, что вынуждает раз в несколько лет обновлять хранимую информацию.

Построена математическая модель, связывающая параметры, характеризующие процесс записи запасных копий (объем сохраняемой информации, емкость одного носителя, скорость записи и др.).

Описан эксперимент по изготовлению запасных копий информации реальной системы, на основании которого выполнены расчеты скоростей записи и чтения для внешних жестких дисков с интерфейсом SATA-3, подключаемых к системе через интерфейс USB-3.0.

На основании полученных значений выполнена оценка теоретически возможного объема информации, сохраняемой в локальном электронном архиве небольшой организации, которая не может позволить себе содержать собственный отдел ИТ (администратор системы работает на полставки).

1. Бережной А. О схемах ротации, управляемом хаосе, и почему нужно иметь больше носителей для копирования. // «Системный администратор», № 12, 2014 г. – С. 14-19.
2. ГОСТ Р 54989-2012 / ISO TR 18492:2005 Обеспечение долговременной сохранности электронных документов. (Вступил в силу 01.05.2013).
3. Казаков В. Г. Избыточность в алгоритмах резервного копирования. // «Системы управления и информационные технологии», Т. 36, № 2.2, 2009 г. – С. 252-256.
4. Подчищаев А. С. Технология резервного копирования. // «Автоматика, связь, информатика», № 5, 2012 г. – С. 2-3.
5. Производственный календарь на 2017 год. [Электронный ресурс]. // Гарант.ру: Информационно-правовой портал. – URL: http://www.garant.ru/calendar/buhpravo/ – Дата обращения: 14.04.2017.
6. Российские организации начинают строить электронные архивы на оптических дисках [Электронный ресурс]. // Ассоциация электронных торговых площадок. – URL: http://www.aetp.ru/market-news/item/400867. – Дата создания: 06.11.2015. – Дата обращения: 13.11.2015.
7. Устинов В. Хранение данных на CD- и DVD-дисках: на наш век хватит? [Электронный ресурс]. // BROADCASTING: «Телевидение и радиовещание», № 4, 2006 г. – URL: http://www.broadcasting.ru/articles2/Oborandteh/hranenie_dannyh_na_CD_DVD_diskah – Дата обращения: 10.12.2015.
8. Чернышов А. В. К вопросу о применении оптических дисков для создания долговременных электронных архивных хранилищ информации небольших организаций. // «Информационные технологии», Т. 22, № 8, 2016 г. – С. 635-640.
9. Чернышов А. В. Метод организации локального файлового сервера для хранения отсканированных архивных фотоматериалов. [Электронный ресурс]. // «Электронный научный журнал», № 1, 2015 г. – С. 134-138. – URL: http://co2b.ru/docs/enj.2015.01.134pdf – DOI: 10.18534/enj.2015.01.134.
10. LibreOffice. The Document Foundation. Официальный сайт. – URL: http://www.libreoffice.org. – Дата обращения: 17.04.2017.
11. Serial ATA International Organization: Serial ATA Revision 3.0 – Gold Revision. June 2, 2009. 663 p. http://www.lttconn.com/res/lttconn/pdres/201005/20100521170123066.pdf.
12. Universal Serial Bus 3.0 Specification. Revision 1.0. Hewlett-Packard Company; Intel Corporation; Microsoft Corporation; NEC Corporation; ST-NXP Wireless; Texas Instruments. November 12, 2008. 482 p.

Ключевые слова: архивное хранение электронной информации, запасные копии информации, обновление запасных копий, внешние жесткие диски.

About the problem of updating data in the archived spare copies on hard disks

Chernyshov A. V., Cand. Sci. (Eng.), Assoc. Prof., Section of Department of Computer Systems and Networks, Mytiscthi branch of Bauman Moscow State Technical University, Mytiscthi, sch@mgul.ac.ru

Abstract: Considered the problem of periodic data updates on the spare copies, made on external hard drives, of systems long archival storage of electronic information. Constructed model that describes in general terms the maximum amount of information in the storage system from the parameters characterizing the process of copying and properties of media used spare copies. According to the results of a real experiment evaluated the speed of read and write information to external hard drives with interface SATA-3 connected to the system through the interface USB3.0. Estimation of the maximum possible amount of information saved in the system long-term storage of small organization.

Keywords: archival storage of electronic information, spare copies of information, spare copies update, external hard drives.

Комментарии могут оставлять только зарегистрированные пользователи