Open raid что это

Обновлено: 07.07.2024

Устройства хранения данных позволяют защитить любые важные данные сервера и сохранить их для последующего извлечения. Если у вас нет высоких требований к избыточности или производительности, вам вполне подойдёт один диск. В противном случае можно использовать RAID.

Данное руководство ознакомит вас с общими понятиями RAID, преимуществами подобных массивов и различиями в технологиях их реализации.

Что такое RAID?

RAID расшифровывается как Redundant Arrays of Independent Disks (избыточный массив дисковых накопителей). Это технология виртуализации данных, которая объединяет несколько дисков в логический блок. Существует несколько шаблонов виртуализации, благодаря чему администраторы могут повысить производительность ил избыточность данных. RAID внедряется как промежуточный слой между неформатированными устройствами или разделами и файловой системой.

Когда используется RAID?

Обычно RAID используется для повышения производительности и избыточности.

Избыточность данных – это технология, позволяющая повысить доступность данных путём их накопления и дублирования. В случае сбоя одного из устройств копию данных можно будет извлечь с другого устройства.

Примечание: Избыточность и резервное копирование – не одно и то же. RAID-массивам бекап так же необходим, как и любому другому типу устройств.

В отдельных случаях RAID используется для оптимизации производительности. Потоки ввода и вывода на некоторых устройствах ограничены. В RAID-массивах данные либо избыточны, либо распределены, а это означает, что операции чтения можно выполнять на нескольких дисках, а это увеличивает общую пропускную способность. Операции записи также можно оптимизировать: RAID позволяет делить данные и записывать на отдельный диск лишь часть общего объема данных.

Недостатками RAID являются:

  • сложность управления;
  • уменьшение количества имеющихся возможностей машины;
  • дополнительные затраты (например, на специализированные аппаратные средства, если массив не удалось полностью реализовать в программном обеспечении);
  • повышенный риск полной потери данных.

Аппаратный и программный RAID

RAID можно реализовать с помощью разных технологий.

Аппаратный RAID

Специальное аппаратное обеспечение RAID – это RAID-контроллеры или RAID-карты, с помощью которых можно создавать и управлять массивами RAID независимо от операционной системы. Контроллеры RAID имеют специальный процессор для управления устройствами RAID.

  • Производительность: RAID-контроллеры не занимают циклов процессора для управления дисками. Это значит, что для управления устройствами хранения не нужны дополнительные ресурсы. Кроме того, высококачественные контроллеры обеспечивают кэширование, что может иметь огромное влияние на производительность.
  • Простота: RAID-контроллеры позволяют отделить диск от операционной системы. RAID представляет целую группу дисков как один логический блок хранения. Операционной системе не нужно понимать расположение дисков RAID, она может просто взаимодействовать с массивом так, как если бы это было одно устройство.
  • Высокая доступность: поскольку массив управляется без помощи ПО, он будет доступен сразу же после загрузки сервера. Потому главную файловую систему можно установить на RAID-массив.

Конечно, аппаратный RAID имеет и значительные недостатки.

  • Зависимость от единственного поставщика: поскольку в управлении устройствами RAID важна прошивка самого оборудования, массив зависит от оборудования, с помощью которого он был создан. Если контроллер RAID ломается, его (почти во всех случаях) нужно заменить аналогичной или совместимой моделью. Потому некоторые администраторы рекомендуют заранее приобрести один или несколько резервных контроллеров.
  • Высокая стоимость: качественные контроллеры RAID, как правило, стоят довольно дорого.

Программный RAID

Также RAID можно настроить с помощью операционной системы. Поскольку отношения между дисками определяются операционной системой, а не встроенным программным обеспечением аппаратного устройства, такой RAID называется программным.

Преимущества программного RAID:

  • Гибкость: управление RAID происходит с помощью операционной системы, потому такой массив можно настроить из работающей системы без перенастройки оборудования. Особенной гибкостью отличается программный RAID Linux, который предлагает много различных типов конфигурации RAID.
  • Открытый код: реализация программного RAID для систем с открытым исходным кодом (например Linux и FreeBSD) тоже является открытой. Вы можете легко прочитать и внедрить код в другие системы. К примеру, RAID-массив, созданный в Ubuntu, можно легко переместить на сервер CentOS. При этом почти нет риска потерять доступ к данным из-за программных различий.
  • Никаких дополнительных расходов: программный RAID не требует специального аппаратного обеспечения.

Недостатки программного RAID:

  • Зависимость от реализации: программный RAID не привязан к конкретному оборудованию, однако он обычно зависит от конкретной реализации. Linux использует mdadm, FreeBSD – RAID на основе механизма GEOM, Windows – собственную версию RAID. Реализации RAID с открытым исходным кодом можно читать и перемещать, только если формат совпадает. Разные реализации программного RAID обычно несовместимы.
  • Ресурсные затраты: В течение всего срока существования программный RAID критикуют за повышенное ресурсопотребление. Управление массивом занимает циклы процессора и память, которые можно использовать для других целей. Такие программные реализации как mdadm почти устраняют эту проблему на современном оборудовании; теперь расход ресурсов процессора сведён к минимуму и в большинстве случаев незначителен.

Полуаппаратный RAID (Fake RAID)

Третий тип RAID-массивов называется полуаппаратным (также он известен как Fake RAID). Его особенность заключается в разделении обработки данных: управление RAID-массивом выполняет контроллер (как правило, для этого достаточно недорогого контроллера), а обработку данных берёт на себя операционная система.

Преимущества полуаппаратного RAID:

  • Поддержка нескольких операционных систем: поскольку RAID запускается вместе с сервером, а затем передаётся операционной системе, несколько операционных систем могут использовать один массив. Программный RAID такого обеспечить не может.

Недостатки полуаппаратного RAID:

  • Ограниченная поддержка: обычно полуаппаратный RAID поддерживает только RAID 0 или RAID 1.
  • Необходимо специальное оборудование: как и аппаратный RAID, полуаппаратный RAID привязан к устройствам, с помощью которых был создан массив. Особенно сложно, если эта проблема затрагивает материнскую плату: в случае замены RAID-контроллера придётся поменять и плату, чтобы получить доступ к данным.
  • Ресурсные затраты: как и программный RAID, полуаппаратный RAID забирает ресурсы системы для обработки данных.

Большинство системных администраторов стараются избегать полуаппартного RAID, поскольку он имеет недостатки первых двух типов RAID.

Терминология RAID

Ниже приведены общие термины RAID, которые нужно знать.

  • Уровень RAID характеризует отношения между компонентами устройства хранения данных. Устройства могут быть по-разному сконфигурированы, что приводит к различиям в эксплуатационных характеристиках и избыточности данных. Больше об уровнях RAID можно узнать в специальном разделе этого руководства.
  • Чередование – это процесс разделения операций записи между компонентами массива; при этом данные делятся на куски, каждый из которых записывается, по меньшей мере, на один из базовых дисков. Эта стратегия используется многими уровнями RAID.
  • Размер куска – это объём данных, которые будут находиться в каждом куске. Настраивая размер куска, нужно учитывать характеристики потоков ввода и вывода – так можно оптимизировать производительность массива.
  • Четность – это механизм целостности данных, реализованный посредством вычисления информации из блоков данных, записанных в массив. Информация о четности может быть использована для восстановления данных в случае сбоя диска. Расчет четности помещается на отдельное устройство, которое вычисляет данные и (в большинстве случаев) распределяет их по доступным дискам. Это позволяет повысить повышения производительность и избыточность.
  • Деградированный массив: массивы с избыточностью данных могут страдать от разного рода сбоев, и если в результате сбоя один из дисков прекращает работу, массив переходит в «деградированный режим». Деградированные массивы можно восстановить до обычного состояния путём замены неисправного оборудования. В деградированных массивах наблюдается снижение производительности.
  • Синхронизация (или перенос актуальных данных) – это восстановление деградированного массива. В зависимости от конфигурации и ошибки в массиве RAID, синхронизация выполняется путём копирования данных из существующих файлов, либо путём вычисления данных по чётности.
  • Вложенные массивы – это группы RAID-массивов, которые можно объединять в более объемные массивы. Часто массивы с избыточностью (как RAID 1 и RAID 5) используются для построения массива RAID 0.
  • Span – это: 1) два или больше дисков, объединённые в одно логическое устройство без изменения производительности и избыточности. Такой режим также называется линейным RAID (примером является mdadm); 2) нижние уровни массивов, которые объединяются для формирования вложенного RAID-массива (RAID 10, например).
  • Проверка массива – это процесс чтения каждого блока в массиве с целью обнаружить ошибки целостности данных. Это позволяет вовремя выявить и восполнить недостающие куски данных.

Уровни RAID

Характеристики RAID-массива определяются его уровнем. Рассмотрим самые распространённые уровни.

RAID 0

Недостатки такого массива:

  • Нет отказоустойчивости. Сбой одного диска выведет из строя весь массив, все данные будут потеряны.
  • В отличие от других массивов, данные RAID 0 нельзя восстановить, поскольку ни один компонент из подмножества не содержит достаточного количества информации. Потому массивам RAID 0 крайне необходимо постоянное резервное копирование данных.

RAID 1

RAID 1 – это зеркальный массив, состоящий из двух или больше дисков. Данные, записанные в такой массив, помещаются на каждом устройстве группы. Таким образом, каждое устройство имеет полный набор данных, обеспечивая избыточность в случае отказа одного из дисков. В массиве RAID 1 данные будут доступны до тех пор, пока в массиве функционирует хотя бы одно устройство. Массив можно восстановить путем замены неисправных дисков. Чтобы добавить данные на новые диски, достаточно скопировать их со старых дисков.

Недостатки RAID 1:

  • Как и в RAID 0, теоретическую скорость чтения можно рассчитать, умножив скорость чтения отдельного диска на количество дисков в массиве. Однако при этом максимальная теоретическая производительность – это производительность самого медленного устройства в массиве (это потому, что все данные записываются на каждое устройство массива).
  • Кроме того, общая емкость массива – это, опять же, емкость самого маленького диска. Таким образом, массив RAID 1 из двух устройств одинакового размера будет иметь полезную емкость одного диска. Дополнительные диски могут увеличить количество избыточных копий данных, но это не приведет к увеличению объема доступной мощности.

RAID 5

RAID 5 объединяет функции предыдущих двух уровней. RAID 5 – дисковый массив с чередованием и отказоустойчивостью. RAID 5 вычисляет код четности для всех данных, хранящихся в массиве, чтобы использовать его для восстановления данных при сбоях. Диск получает блок четности вместо блока данных.

Преимущества RAID 5:

  • Как и другие массивы с чередованием, RAID 5 увеличивает производительность операций чтения (так как данные можно прочитать с любого диска).
  • Блоки четности позволяют полностью восстановить данные, если случится сбой.
  • Поскольку блоки четности распределены (некоторые менее распространенные уровни RAID используют выделенный диск четности), каждый диск имеет сбалансированное количество информации о четности.
  • В отличие от массива RAID 1, чья ёмкость ограничена размером одного диска, RAID 5 может обеспечить уровень избыточности за счет пространства всего одного диска. Таким образом, четыре диска по 100G в массиве RAID 5 дают 300G полезного пространства (один диск будет занят информацией четности).

Недостатки RAID 5:

  • Во время вычисления четности снижается общая производительность системы. Это может повлиять на операции записи.
  • В случае если один из дисков выходит из строя и весь массив переходит в деградированный режим, может снизиться производительность операций чтения (отсутствующие данные нужно будет вычислить из остальных дисков).
  • После восстановления массива путём замены отказавшего диска каждый диск нужно прочитать заново, и ресурсы процессора используются для расчета и восстановления недостающих данных. Это может повредить оставшиеся диски, что иногда приводит к дополнительным сбоям и даже к потере всех данных.

RAID 6

RAID 6 – аналог массива RAID 5, дисковый массив с чередованием и двумя дисками контроля чётности. Такой массив может выдержать сбой двух дисков. Это является существенным преимуществом в связи с увеличением вероятности дополнительного сбоя диска во время интенсивного восстановления после сбоя. Как и другие уровни RAID с чередованием данных, скорость операций чтения, как правило, достаточно высока. Кроме того, RAID 6 имеет все преимущества массива RAID 5.

Недостатки RAID 6:

  • Двойная чётность массива уменьшает его емкость. Это означает, что общая емкость массива представляет собой объединённое пространство всех дисков минус два диска.
  • Расчет данных о четности в RAID 6 сложнее, чем в RAID 5, что может привести к ухудшению производительности операций записи.
  • RAID 6 имеет те же проблемы с деградацией массива, что и RAID 5 (однако дополнительный избыточный диск уменьшает вероятность дополнительных отказов во время восстановления).

Вложенный RAID 1+0

Традиционно массив RAID 10 считается вложенным массивом; по сути, это массив RAID 0, состоящий из двух и больше массивов RAID 1. Сегодня RAID 10 также называют RAID 1+0. В целом такая архитектура требует минимум 4 диска: RAID 0 чередуется по двум массивам RAID1, в каждом из которых минимум два устройства.

Массивы RAID 1+0 обладают высокой производительностью RAID 0 и зеркалированием RAID 1, что обеспечивает избыточность данных. Этот тип конфигурации может обрабатывать сбои дисков в любом из зеркальных массивов RAID 1, пока хотя бы один диск остаётся доступным.

RAID 10 в mdadm

Массивы Linux (mdadm) предлагают собственную версию RAID 10, который имеет преимущества RAID 1+0, но при этом обладает гибкостью и некоторыми дополнительными функциями.

Как и RAID 1+0, RAID 10 в mdadm поддерживает множество копий и чередование данных. Однако такие устройства упорядочены не по принципу зеркальных пар: в данном случае администратор сам принимает решение о количестве копий, которые будут записаны в массив. Данные фрагментированы и записываются в массив в нескольких экземплярах, при этом каждая копия фрагмента записывается на различные физические устройства. В конечном результате существует то же самое количество копий, но массив не ограничен вложенностью.


Организация единого дискового пространства — задача, легко решаемая с помощью аппаратного RAID-контроллера. Однако следует вначале ознакомиться с особенностями использования и управления таким контроллером. Об этом сегодня расскажем в нашей статье.

Надежность и скорость работы дисковых накопителей — вопрос, волнующий каждого системного администратора. Несмотря на заверения производителей о качестве собственных устройств — HDD и SSD продолжают выходить из строя в самое неподходящее время, теряя драгоценные данные. Технология S.M.A.R.T. в большинстве случаев дает возможность оценить «здоровье» накопителя, но это не гарантирует того, что диск будет продолжать беспроблемно работать.

Предсказать выход диска из строя со 100%-ой точностью невозможно, поэтому следует предусмотреть вариант, при котором это не станет проблемой или причиной остановки сервисов. Использование RAID-массивов решает эту задачу. Рассмотрим три основных подхода, применяющихся для этой задачи:

  • Программный RAID — наименее затратный вариант, но и наименее производительный. Массив создается средствами операционной системы, вся нагрузка по обработке данных «ложится на плечи» центрального процессора.
  • Интегрированный аппаратный RAID (еще его часто называют Fake-RAID) — микрочип, установленный на материнскую плату, который берет на себя часть функционала аппаратного RAID-контроллера, работая в паре с центральным процессором. Этот подход работает чуть быстрее, чем программный RAID, но надежность у такого массива оставляет желать лучшего.
  • Аппаратный RAID — это отдельный контроллер с собственным процессором и кэширующей памятью, полностью забирающий на себя выполнение всех дисковых операций. Наиболее затратный, однако, самый производительный и надежный вариант для использования.

Внешний вид

Мы выбрали решения Adaptec от компании Microsemi. Это RAID-контроллеры, зарекомендовавшие себя удобством использования и высокой производительностью. Их мы устанавливаем, если наш клиент решил заказать сервер произвольной или фиксированной конфигурации.


Для подключения дисков используются специальные интерфейсные кабели. Со стороны контроллера используются разъемы SFF8643. Каждый кабель позволяет подключить до 4-х дисков SAS или SATA (в зависимости от модели). Помимо этого интерфейсный кабель еще имеет восьмипиновый разъем SFF-8485 для шины SGPIO, о назначении которой поговорим чуть позже.

Помимо самого RAID-контроллера существует еще два дополнительных устройства, позволяющих увеличить надежность:

    BBU (Battery Backup Unit) — модуль расширения с литий-ионной батареей, позволяющий поддерживать напряжение на энергозависимой микросхеме кэша. В случае внезапного обесточивания сервера его использование позволяет временно сохранить содержимое кэша, которое еще не было записано на диски.

Это особенно важно, когда включен режим отложенной записи кэша (Writeback). При пропадании электропитания содержимое кэша не будет сброшено на диски, что приведет к потере данных и, как следствие, штатная работа дискового массива будет нарушена.

Технические характеристики

Температура

Вначале хотелось бы затронуть такую важную вещь, как температурный режим аппаратных RAID-контроллеров Adaptec. Все они оснащены небольшими пассивными радиаторами, что может вызвать ложное представление о небольшом тепловыделении.

Производитель контроллера приводит в качестве рекомендуемого значения воздушного потока — 200 LFM (linear feet per minute), что соответствует показателю 8,24 литра в секунду (или 1,02 метра в секунду). Рассчитаны такие контроллеры исключительно на установку в rackmount-корпусы, где такой воздушный поток создается скоростными штатными кулерами.

От 0°C до 40-55°C — рабочая температура большинства RAID-контроллеров Adaptec (в зависимости от наличия установленных модулей), рекомендованная производителем. Максимальная рабочая температура чипа составляет 100°C. Функционирование контроллера при повышенной температуре (более 85°C) может вывести его из строя. Удобства ради приводим под спойлером табличку рекомендуемых температур для разных серий контроллеров Adaptec.

Series 2 (2405, 2045, 2805) and 2405Q 55°C без модулей
Series 5 (5405, 5445, 5085, 5805, 51245, 51645, 52445) 55°C без батарейного модуля, 40°C с батарейным модулем ABM-800
Series 5Z (5405Z, 5445Z, 5805Z, 5805ZQ) 50°C с модулем ZMCP
Series 5Q (5805Q) 55°C без батарейного модуля, 40°C с батарейным модулем ABM-800
Series 6E (6405E, 6805E) 55°C без модулей
Series 6/6T (6405, 6445, 6805, 6405T, 6805T) 55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-600
Series 6Q (6805Q, 6805TQ) 50°C с ZMCP модулем AFM-600
Series 7E (71605E) 55°C без модулей
Series 7 (7805, 71605, 71685, 78165, 72405) 55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-700
Series 7Q (7805Q, 71605Q) 50°C с ZMCP модулем AFM-700
Series 8E (8405E, 8805E) 55°C без модулей
Series 8 (8405, 8805, 8885) 55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-700
Series 8Q (8885Q, 81605Z, 81605ZQ) 50°C с ZMCP модулем AFM-700

Нашим клиентам не приходится беспокоиться о перегреве контроллеров, поскольку в наших дата-центрах поддерживается постоянный температурный режим, а сборка серверов произвольной конфигурации происходит с учетом особенностей таких комплектующих (о чем мы упоминали в нашей предыдущей статье).

Скорость работы

Для того чтобы продемонстрировать, как наличие аппаратного RAID-контроллера способствует увеличению скорости работы сервера, мы решили собрать тестовый стенд со следующей конфигурацией:

  • CPU Intel Xeon E3-1230v5;
  • RAM 16 Gb DDR4 2133 ECC;
  • 4 HDD емкостью по 1 ТБ.

Затем в этот же стенд поставим RAID-контроллер Adaptec ASR 7805 с модулем защиты кэша AFM-700, подключим к нему эти же жесткие диски и выполним точно такое же тестирование.

С программным RAID

Несомненное преимущество программного RAID — простота использования. Массив в ОС Linux создается с помощью штатной утилиты mdadm. При установке операционной системы чаще всего создание массива предусмотрено непосредственно из установщика. В случае, когда такой возможности установщик не предоставляет, достаточно всего лишь перейти в соседнюю консоль с помощью сочетания клавиш Ctrl+Alt+F2 (где номер функциональной клавиши — это номер вызываемой tty).

Создать массив очень просто. Командой fdisk -l смотрим, какие диски присутствуют в системе. В нашем случае это 4 диска:


Проверяем, чтобы на дисках не было метаданных, например, от предыдущего массива:


В случае, если на одном или нескольких дисках будут метаданные, удалить их можно следующим образом (где sdX — требуемый диск):


Создадим на каждом диске разделы для будущего массива c помощью fdisk. В качестве типа раздела следует указать fd (Linux RAID autodetect).


Собираем массив RAID 10 из созданных разделов с помощью команды:


Сразу после этого будет создан массив /dev/md0 и будет запущен процесс перестроения данных на дисках. Для отслеживания текущего статуса процесса введите:



Пока процесс перестроения данных не будет завершен, скорость работы дискового массива будет снижена.

После установки операционной системы и Bitrix24 на созданный массив мы запустили стандартный тест и получили следующие результаты:


С аппаратным RAID

Прежде чем сервер сможет использовать единое дисковое пространство RAID-массива, необходимо выполнить базовую настройку контроллера и логических дисков. Сделать это можно двумя способами:

  • при помощи внутренней утилиты контроллера,
  • утилитой из операционной системы.


Утилита позволяет не только управлять настройками контроллера, но и логическими устройствами. Инициализируем физические диски (вся информация на дисках при инициализации будет уничтожена) и создадим массив RAID-10 с помощью раздела Create Array. При создании система запросит желаемый размер страйпа, то есть размер блока данных за одну I/O-операцию:

  • больший размер страйпа идеален для работы с файлами большого размера;
  • меньший размер страйпа подойдет для обработки большого количества файлов небольшого размера.
Важно — размер страйпа задается только один раз (при создании массива) и это значение в дальнейшем изменить нельзя.


Сразу после того, как контроллеру отдана команда создания массива, также, как и с программным RAID, начинается процесс перестроения данных на дисках. Этот процесс работает в фоновом режиме, при этом логический диск становится сразу доступен для BIOS. Производительность дисковой подсистемы будет также снижена до завершения процесса. В случае, если было создано несколько массивов, то необходимо определить загрузочный массив с помощью сочетания клавиш Ctrl + B.

После того как статус массива изменился на Optimal, мы установили Bitrix24 и провели точно такой же тест. Результат теста:


Сразу становится понятно, что аппаратный RAID-контроллер ускоряет операции чтения и записи на дисковый носитель за счет использования кэша, что позволяет быстрее обрабатывать массовые обращения пользователей.

Управление контроллером

Непосредственно из операционной системы управление контроллером производится с помощью программного обеспечения, доступного для скачивания с сайта производителя. Доступны варианты для большинства операционных систем и гипервизоров:

  • Debian,
  • Ubuntu,
  • Red Hat Linux,
  • Fedora,
  • SuSE Linux,
  • FreeBSD,
  • Solaris,
  • Microsoft Windows,
  • Citrix XenServer,
  • VMware ESXi.

С помощью указанных утилит можно, не прерывая работу сервера, легко управлять логическими и физическими дисками. Также можно задействовать такой полезный функционал, как «подсветка диска». Мы уже упоминали про пятый кабель для подключения SGPIO — этот кабель подключается напрямую в бэкплейн (от англ. backplane — соединительная плата для накопителей сервера) и позволяет RAID-контроллеру полностью управлять световой индикацей каждого диска.

Следует помнить, что бэкплэйны поддерживают не только SGPIO, но и I2C. Переключение между этими режимами осуществляется чаще всего с помощью джамперов на самом бэкплэйне.

Каждому устройству, подключенному к аппаратному RAID-контроллеру Adaptec, присваивается идентификатор, состоящий из номера канала и номера физического диска. Номера каналов соответствуют номерам портов на контроллере.

Замена диска — штатная операция, впрочем, требующая однозначной идентификации. Если допустить ошибку при этой операции, можно потерять данные и прервать работу сервера. С аппаратным RAID-контроллером такая ошибка является редкостью.

Делается это очень просто:

    Запрашивается список подключенных дисков к контроллеру:

Например, на платформах Supermicro штатная работа диска — зеленый или синий цвет, а «подсвеченный» диск будет моргать красным. Перепутать диски в этом случае невозможно, что позволит избежать ошибки из-за человеческого фактора.


Настройка кэширования

Теперь пару слов о вариантах работы кэша на запись. Вариант Write Through означает, что контроллер сообщает операционной системе об успешном выполнении операции записи только после того, как данные будут фактически записаны на диски. Это повышает надежность сохранности данных, но никак не увеличивает производительность.

Чтобы достичь максимальной скорости работы, необходимо использовать вариант Write Back. При такой схеме работы контроллер будет сообщать операционной системе об успешной IO-операции сразу после того, как данные поступят в кэш.

Важно — при использовании Write Back настоятельно рекомендуется использовать BBU или ZMCP-модуль, поскольку без него при внезапном отключении электричества часть данных может быть утеряна.

Настройка мониторинга

Вопрос мониторинга статуса работы оборудования и возможности оповещения стоит достаточно остро для любого системного администратора. Для того чтобы настроить «связку» из Zabbix и RAID-контроллера Adaptec рекомендуем воспользоваться перечисленными решениями.

Зачастую требуется отслеживать состояние контроллера напрямую из гипервизора, например, VMware ESXi. Задача решается с помощью установки CIM-провайдера с помощью инструкции Microsemi.

Прошивка

Необходимость прошивки RAID-контроллера возникает чаще всего для исправления выявленных производителем проблем с работой устройства. Несмотря на то, что прошивки доступны для самостоятельного обновления, к этой операции следует подойти очень ответственно, особенно если процедура выполняется на «боевой» системе.

Если нашему клиенту требуется сменить версию прошивки контроллера, то ему достаточно создать тикет в нашей панели управления. Системные инженеры выполнят перепрошивку RAID-контроллера до требуемой версии в указанное время и сделают это максимально корректно.

Важно — не следует выполнять перепрошивку самостоятельно, поскольку любая ошибка может привести к потере данных!

Заключение

Использование аппаратного RAID-контроллера оправдано в большинстве случаев, когда требуется высокая скорость и надежность работы дисковой подсистемы.

Системные инженеры Selectel бесплатно выполнят базовую настройку дискового массива на аппаратном RAID-контроллере при заказе сервера произвольной конфигурации. В случае, если потребуется дополнительная помощь с настройкой, мы будем рады помочь в рамках нашей услуги администрирования. Также мы подготовили для наших читателей небольшую памятку по командам утилиты arcconf.

Что такое RAID-массив и зачем он нужен

В системах хранения данных критически важны сохранность и время восстановления в случае сбоя. Свою ценность, а в некоторых задачах и более высокую, имеет скорость работы накопителей. Использование RAID-массивов в различных конфигурациях — это поиск компромисса между перечисленными параметрами.

RAID — это технология объединения двух и более накопителей в единый логический элемент с целью повышения производительности и (или) отказоустойчивости отдельно взятого элемента массива.

RAID-массивы классифицируются по следующим параметрам:

  • по исполнению RAID контроллера;
  • по типам поддерживаемых интерфейсов накопителей;
  • по поддерживаемым уровням RAID.

RAID-контроллеры: аппаратные и не очень

По исполнению контроллеры делятся на программные и аппаратные. Программные реализуются непосредственно средствами операционной системы или на уровне материнской платы. Последние также известны как интегрированные, а также Fake-RAID. Они работают быстрее чисто софтверных решений за счет специального чипа для управления массивом. Недавно публиковался текст о развертывании таких технологий. Дополнительной железки при этом никакой нет и в любом случае будут использоваться ресурсы вычислительной машины.

Аппаратные RAID-контроллеры выполняются в форм-факторе платы PCIe либо в составе внешнего автономного устройства — дискового массива.

Они имеют на борту собственные процессор, память, BIOS и специальный интерфейс для конфигурации. Платы PCIe также комплектуются дополнительными модулями, сохраняющими данные, если произойдет сбой в электропитании: BBU с Li-Ion аккумулятором и ZMCP на базе суперконденсатора.


Оба модуля позволяют сделать сэйв содержимого кэша. После восстановления работы эти данные будут немедленно записаны на диск. Дисковый массив, будучи автономным, располагает собственными блоком питания и системой охлаждения.


Накопители подключаются к плате либо кабелями напрямую, либо через платы расширения. Автономные дисковые массивы содержат все накопители внутри себя, а наружу смотрит все тот же интерфейс PCIe (есть и другие варианты, например, USB 3.2 и Thunderbolt 3). Кстати, известный вид дисковых массивов — сетевое хранилище данных (NAS).

Что можно подключать к RAID-контроллеру

Следующий важный параметр, по которому различаются RAID-массивы, это поддержка интерфейсов накопителей. Не будем тревожить склеп с IDE-дисками, а констатируем, что по большому счету применяются три типа: SATA, SAS и NVMe. SAS — удел серверов, а вот остальные применяются повсеместно.

Есть программные и аппаратные RAID-контроллеры, которые умеют управлять массивом дисков с одним из интерфейсов. В формате PCIe есть и такие платы, которые реализуют режим Tri-Mode, позволяющий работать со смешанным составом накопителей.


Уровни RAID

Разобравшись с основными конструктивными особенностями RAID-контроллеров, перейдем к главной характеристике — поддержке уровней RAID. В подавляющим большинстве контроллеры работают с уровнями 0, 1, 1E, 10, 5, 5EE, 50, 6, 60. Другие занесены в красную книгу и на практике встречаются редко. Простейшие программные контроллеры позволяют создать RAID 0 и 1. Более продвинутые добавляют RAID 10 и 5. В аппаратных, как правило, такой перечень минимален, и многие платы поддерживают весь спектр уровней. Рассмотрим подробнее каждый из них.

Несколько важных нюансов для понимания эффективных объема и быстродействия, получаемых в результате объединения в массив:

  • при использовании накопителей разного объема контроллер «обрезает» объем каждого из них до наименьшего из используемых. Если у вас есть много дисков 4 ТБ и один 2 ТБ, то в массиве все диски будут восприниматься как 2 ТБ;
  • при использовании накопителей с разными скоростями ввода/вывода и задержками, то операции доступа будут осуществляться с наихудшими из всех параметров. Другими словами, самым быстрым дискам придется ждать, пока отработает самый медленный.

RAID 0


Единственный массив, который не совсем оправдывает название, поскольку не обладает избыточностью. При этом скорость и эффективный объем максимальны. Данные разбиваются на одинаковые блоки, равномерно записываемые на все диски по очереди. Эти блоки называются страйпами, отсюда и сам RAID 0 часто именуют страйпом. Считывание данных также происходит параллельно. Здесь конечно же есть свое но.

Дело в том, что прирост производительности не прямо пропорционален количеству дисков (как хотелось бы). В силу специфики накопителей, особенно механических, выигрыш в конфигурации RAID 0 хорошо заметен только на операциях последовательного чтения. Другими словами, при работе с большими файлами. Типичная область применения — игры, видеомонтаж и рендеринг. При условии, что регулярно производится резервирование на сторонние накопители. Наряду с этим при случайном доступе к файлам разница с отдельно взятым диском уже не так ощутима. Более позитивная картина наблюдается в случае твердотельных накопителей, но они и так удовлетворяют большинству запросов по быстродействию.

В общем, в современных реалиях RAID 0 далеко не всегда оправдает свое применение, а основная задача RAID-массива все же в повышении надежности хранения данных.

Обратная сторона медали за скорость как раз в отсутствии избыточности, что означает нулевую отказоустойчивость. В случае сбоя хотя бы одного из элементов массива, восстановление всего содержимого практически невозможно.

RAID 1


RAID 1, известный как «зеркало», представляет собой другую крайность. Он максимально избыточен — в нем производится 100 % дублирование данных. Этот процесс «съедает» ровно половину объема массива. Число дисков в нем, соответственно, четное. Позволяет увеличить скорость чтения, но синхронная скорость записи в некоторых случаях падает. При отказе одного из дисков работа автоматически продолжается с дублером. Если доступна функция горячей замены дисков, то восстановление штатного режима происходит без остановки. RAID 1 идеален для чувствительных данных.

RAID 5


Состоит минимум из трех накопителей, при этом доступный объем уменьшается на один. Данные записываются в страйпы на все диски кроме одного, на котором размещается контрольная сумма этой части данных. Запись этого блока также чередуется между всеми накопителями, распределяя равномерную нагрузку. Если их больше четырех, то скорость чтения будет выше чем в RAID 1, но запись будет осуществляться медленнее. Контрольные суммы позволяют достать информацию в случае выхода из строя одного из элементов. Сама операция восстановления вызывает повышенную нагрузку на оставшиеся диски. Значительно падает производительность и риск утери всех данных в случае отказа еще одного диска. Желательно иметь опцию горячей замены для оперативного возвращения в нормальный режим работы.

Со всеми плюсами и минусами эти три уровня наиболее распространены и просты в развертывании.

RAID 6


Развитие RAID 5 по части надежности, позволяющее пережить потерю двух дисков. В данной конфигурации в каждом проходе пишется две независимые контрольные суммы на два накопителя. Требуется минимум четыре диска, из которых два уйдет на описанный алгоритм повышения отказоустойчивости. При этом скорость записи будет еще ниже, чем у RAID 5.

Следующие уровни — производные и комбинации перечисленных.

RAID 10


Неплохо было бы объединить достоинства RAID 0 (производительность) и RAID 1 (отказоустойчивость)? Встречайте RAID 10: страйп и зеркало, два в одном. Но и недостатки не забудьте — по-прежнему половина объема уходит на резерв. А что делать, за надежность приходится платить. В этом плане менее экономичен, чем RAID 5 И RAID 6, но более прост в восстановлении после сбоя.

RAID 50


По похожей схеме получаем RAID 50. Здесь уже страйпы не зеркалируются, а распределяются по двум и более массивам RAID 5. Требуется от шести дисков, скорость чтения значительно увеличивается. Кроме того, нивелируется и слабое место RAID 5 и RAID 6 — низкая скорость записи. Отрицательная сторона опять лежит в плоскости экономики. Из эффективного объема выпадают два диска, как и RAID 6, при этом массив выдержит потерю только одного.

RAID 60


Данный гибрид RAID 0 и RAID 6 призван решить проблему производительности последнего. Отказоустойчивость остается на том же уровне, как и часть объема накопителей, отводимая на реализацию алгоритмов контроля целостности данных. Дисков для такого удовольствия понадобится как минимум восемь.

RAID 1E


Еще одна вариация совмещения алгоритмов зеркалирования и чередования данных. Записанные на одной итерации страйпы повторно записываются на следующей, но в обратном порядке. Таким образом в RAID 1E можно использовать три диска. Массив останется тем же зеркалом с эффективным объемом, равным половине от исходного.

RAID 5EE


Один из вариантов использования RAID 5 с резервным диском. Отличается тем, что этот диск не простаивает до выхода из строя одного из элементов массива, а используется наряду с другими. На каждой итерации помимо страйпов данными и контрольной суммой записывается резервный блок. Сделано это для ускорения процесса сборки массива в случае нештатной ситуации. Платой за такую опцию становится второй диск, исключаемый из эффективного объема RAID 5EE.

В таблице ниже приведены сравнительные характеристики рассмотренных уровней RAID.


Не забудем и про массив с незатейливым названием JBOD (дословно переводится как «просто связка дисков»). Строго говоря, он не является RAID-массивом. Это объединенные в один несколько дисков без дополнительной функциональности. Позволяет развернуть логический диск с объемом, который недоступен в рамках одного накопителя. Такой диск полезен для перемещения файлов больших размеров в несколько терабайт.

Вместо заключения напомним самое главное правило для всех, кто хранит данные в RAID-массиве: RAID-массив ≠ бэкап! Регулярно делайте резервные копии данных на независимые носители и да пребудет с вами сила.


RAID (Redundant Array of Independent Disks или «избыточный массив независимых дисков») — метод виртуализации, позволяющий объединять несколько дисков в единый логический том, имеющий лучшие характеристики. Чтобы описать, чем RAID может быть полезен на практике, рассмотрим теоретические основы, классификацию и особенности использования данной технологии.

Для чего применяется RAID

RAID позволяет превратить несколько дисковых накопителей в один большой и быстрый диск. Его можно использовать в качестве хранилища данных с функцией автоматического резервного копирования или настроить как системный диск повышенной отказоустойчивости.

У технологии RAID-массивов существуют и минусы. Платой за быстродействие и надежность становится усложнение системы, а также необходимость закупать дополнительное оборудование. Однако эта цена невелика по сравнению с потенциальными убытками, которые может понести пользователь при потере информации или внезапной поломке накопителя.

Преимущества технологии

  1. Увеличенный объем. Первоначальное назначение RAID — получение диска большей емкости.
  2. Повышение быстродействия системы через параллельное подключение в массив нескольких физических дисков.
  3. Отказоустойчивость и надежность хранения данных обеспечиваются выделением на цели резервирования отдельного устройства. При повреждении одного из дисков RAID-массива информация не будет утеряна.

Условие применения

Технологию можно использовать не во всех случаях. Для этого требуется ее аппаратная и программная поддержка. BIOS должен содержать настройку вида «SATA Configuration: RAID». Если же ее по каким-либо причинам нет, то необходимо «перепрошить» базовую систему ввода-вывода.

В случае, когда поддержка RAID программным методом невозможна, нужно подключить дополнительное устройство — RAID-контроллер и установить соответствующий драйвер. В последних версиях ОС Linux (Ubuntu 20.04, POP-OS 20.04 и т. д.) драйвер для включения режима RAID инсталлируется автоматически.

Основные понятия

В основе функционирования RAID-массивов лежит несколько базовых терминов, без которых нельзя понять принципы работы этой технологии.

  1. Массив — объединение нескольких физических или виртуальных накопителей в один большой диск с возможностью единой настройки, форматирования и управления.
  2. Метод зеркалирования — способ повысить надежность хранения информации через создание копии исходного диска на другом носителе, входящем в массив.
  3. Дуплекс — один из методов зеркалирования, в котором используется вдвое большее количество накопителей для создания копий.
  4. Чередование — увеличение производительности диска, благодаря блочной разбивке данных при записи.
  5. Четность — технология, сочетающая в себе чередование и зеркалирование.

Типы RAID-массивов


  1. Программный (software RAID) — самый бюджетный и распространенный вариант. Дисковые массивы создаются в самой операционной системе посредством специальных утилит. Обработкой данных занимается центральный процессор. Основной недостаток — зависимость от предустановленной системы, которая приводит к существенному понижению быстродействия и безопасности хранения информации.
  2. Аппаратный (hardware RAID) — создается на основе отдельного устройства (RAID-контроллера), которое имеет собственные специализированный микропроцессор и кеш-память. При этом нагрузка на микропроцессор практически отсутствует. Это наиболее затратный метод реализации, характеризующийся надежностью, высокой скоростью записи и чтения.
  3. Интегрированный аппаратный (fake RAID, RAID-on-Chip) — комбинация программного и аппаратного способов. Реализована в виде дополнительного микрочипа, который встраивается в материнскую плату и работает совместно с центральным процессором. Эта технология быстрее программной, но не отличается надежностью хранения информации.

Классификация RAID по уровням

Основные отличия между конфигурациями или уровнями RAID заключаются в методах формирования и размещения данных, а также в алгоритмах распределения информации на носителях. Базовые типы RAID-массивов — RAID 0 и RAID 1. Остальные уровни считаются их производными, сочетающими в себе достоинства той или иной базовой модели.

RAID 0


Технология виртуализации RAID 0 называется striping («чередование»). Для ее реализации применяется от 2 до 4 накопителей, которые совместно выполняют процедуру «чтения/записи».

При записи информация разделяется на блоки, которые одновременно сохраняются на накопители. Первый блок — на один, второй — на другой жесткий диск и так далее. Производительность массива возрастает прямо пропорционально количеству накопителей в системе. То есть, 4 диска будут работать в 2 раза быстрее, чем два.

Однако, такая конфигурация RAID-массива чревата потерей данных, что уменьшает безопасность хранения информации. Это объясняется структурой каждого файла. Последний состоит из определенной последовательности блоков (байт), поскольку каждый из них записывается на разные диски и происходит «нарушение» его целостности. Если один накопитель выходит из строя, то блок «теряется». При этом получается «битый» файл, который практически невозможно восстановить.

Достоинства

  • Дисковый RAID-массив уровня 0 обеспечивает ощутимый прирост скорости, который прямо пропорционально зависит от кратности количества накопителей.
  • Использование всего дискового объема, т. е. при установке четырех дисков по 2 ТБ общий объем RAID-массива будет равен 2*4=8 ТБ.

Недостатки

  • Нарушение отказоустойчивости. Иногда возможен отказ в операциях чтения или записи.
  • При выходе из строя одного накопителя информация полностью теряется.

Использование

Применяется в приложениях для скоростного обмена информацией, в хранилищах временных файлов. Также RAID 0 нужен для систем, использующих некритичные по важности массивы данных.

RAID 1


Технология RAID 1 называется мirroring («зеркалирование»). Она подразумевает использование от 2 до 4 накопителей. Однако при этом теряется половина объема дисков, поскольку это пространство используется резервированием данных.

Простыми словами, если RAID-система состоит из 2 жестких дисков, то при выходе одного из них информация не потеряется полностью, поскольку один накопитель является точной копией другого.

Достоинства

  • Надежность хранения информации.
  • Простота реализации.
  • Высокая производительность при выполнении операции чтения.
  • Минимальная комплектация составляет всего 2 жестких диска.

Недостатки

  • Низкая производительность.
  • Емкость RAID-массива делится на 2, что обусловлено резервированием информации.
  • Замена неисправного накопителя требует полное отключение системы.

Использование

Уровень RAID 1 необходимо применять для увеличения надежности хранения информации на серверах.

RAID 5


Технология RAID 5 («чередование с чётностью») считается наиболее распространенной и безопасной. Для подобной конфигурации необходимо минимум 3 диска, а максимальное допустимое количество — 16.

При записи информации происходит разделение на блоки данных, но с одним условием — на один из дисков, называемый блок «чётность данных» (Parity Drive, PD), происходит запись информации для восстановления. Этот подход позволяет спасти данные при повреждении одного из накопителей.

RAID 5 может реализовываться программным методом при помощи специальных утилит, но IT-специалисты рекомендуют все же отдать предпочтение аппаратному способу.

Достоинства

  • Увеличена скорость чтения за счет одновременной обработки данных с нескольких независимых потоков от дисков массива.
  • Информация не «потеряется» при повреждении одного накопителя.
  • При замене неисправного диска происходит автоматическое восстановление информации.

Недостатки

  1. Иногда происходят отказы дисков.
  2. Если объем поврежденного накопителя 4 ТБ и более, при замене его на идентичный диск, восстановление может занять более одного дня.
  3. Если диск «чётности» вышел из строя при выполнении процедуры восстановления, то информация будет окончательно утеряна.
  4. Минимальное количество накопителей — 3.

Использование

Технология виртуализации 5 уровня (RAID 5) прекрасно подойдет для безопасного хранения данных, но при этом не будет утрачена производительность. Очень часто ее используют файловые серверы.

RAID 6


Технология виртуализации 6 уровня («чередование с двойной чётностью») похожа на RAID 5. Отличие состоит в записи информации для восстановления на два диска. Первый — блок «чётность данных» (PD) используются в архитектуре RAID 5 для резервного хранения данных. Второй диск «чётности» дублирует работу первого. Его работа основана на коде Рида-Соломона (Reed-Solomon), поэтому диск часто имеет краткое обозначение — RS или Q.

Благодаря использованию принципа двойной чётности, система может перенести без потерь информации отказ сразу двух жестких дисков. Однако для создания RAID 6 потребуется минимум четыре накопителя.

Достоинства

  • Высокая скорость считывания и записи данных.
  • Поддержка двух, одновременно вышедших из строя накопителей.

Недостатки

  • Время на операцию записи на 20% больше, чем для RAID 5.
  • Минимальная вероятность отказа дисков.
  • Восстановление после сбоя занимает много времени.
  • Для реализации необходимо 4 накопителя.

Использование

RAID 6 является более надежной конфигурацией, чем RAID пятого уровня. Она часто применяется на файловых серверах, где используются большие объемы данных.

RAID 10


Технология виртуализации 10 — «гибрид» RAID нулевого и первого уровней, сочетающая в себе все их преимущества.

Достоинства

  • Высокая скорость восстановления данных.
  • Высокая надежность.
  • Быстродействие.

Недостатки

  • Дороговизна реализации.
  • Емкость, уходящая на зеркалирование, эквивалентна 50 % от всего объема дисков.

Использование

Гибридная технология RAID 10 используется в тех же случаях, что и RAID 0 и RAID 1.

Утилиты для создания

В операционной системе Windows есть встроенная утилита для создания RAID. Однако она поддерживает только RAID-массивы первого. Поэтому для более сложных операций, а также для платформ на базе Unix/Linux требуется установка стороннего ПО.

Перед выбором соответствующей конфигурации RAID-массива, специалисты рекомендуют сохранить информацию на отдельный носитель. При создании или удалении RAID-системы данные на дисках уничтожаются.

Mdadm

Для операционных систем на основе Linux рекомендуется использовать штатную утилиту «mdadm», которую необходимо предварительно установить через терминал.

Основные возможности

  • Создание и сброс RAID-массивов.
  • Монтирование файловых систем.
  • Сохранение топологии массива.
  • Удаление отдельных элементов из RAID.

Установка

Для инсталляции утилиты требуется ввести в терминале следующие команды:

При этом в систему будет инсталлирована утилита, а также необходимый набор библиотек.

MegaRAID Storage Manager (MSM)

Бесплатное приложение от Microsoft, разработанное с целью обеспечения гибкого управления RAID-системами в ОС Windows.

Основные возможности

  • Просмотр состояния RAID-контроллера.
  • Создание RAID-массивов различных уровней.
  • Удаление элементов из массива.
  • Графический интерфейс.
  • Монтирование файловых систем.

Установка

Заключение

Использование RAID-массивов позволяет реализовать повышенние потенциала нескольких дисковых накопителей за счет их объединения. В частности, растет производительность и надежность хранения информации. Однако эффективность работы массива будет сильно зависеть от того, каким способом он создан. Оптимальным является аппаратный метод на базе отдельного RAID-контроллера, но его организация потребует больших финансовых вложений.

Помимо способа реализации для работы RAID важна конфигурация массивов, которая делится на несколько базовых уровней. Оптимальным уровнем считается RAID-10, поскольку он обеспечивает не только высокую скорость обработки данных, но и их сохранность.

Виртуальный сервер от Eternalhost — надежная площадка для современного веб-ресурса! Быстрые NVMe диски, реальная защита от DDoS, техподдержка 24/7.

Читайте также: