Для чего аккумулятор на raid контроллере

Обновлено: 04.07.2024

Всем привет.
Так как с некоторых пор я работаю на государственной службе, то проблема «слабого» финансирования в организации стоит крайне остро и порой случаются проблемы, которых, естественно никто не предвидел и на которые уж точно совершенно не предусмотрено финансирование.

Суть проблемы

Собственно, речь пойдёт о такой специфичной вещи, как АКБ для контроллера RAID массивов.
Имеется старенький сервер HP Proliant с установленным RAID контроллером. Сервер старый и естественно, никогда и ничего в нём не менялось, разве что пара жёстких дисков. После 10 лет использования АКБ приказала долго жить, контроллер стал ругаться и сервер стал жутко тормозить.

Как я уже писал выше, бюджет под такие специфичные вещи естественно не предусмотрен, а работать это, как обычно, должно было ещё вчера.

После продолжительных поисков в интернете, наткнулся на статью, в которой человек писал, что менял оригинальный аккумулятор на пак из четырёх аккумуляторов по 1.2 вольта.

Приступаем к операции

Ну что же, характеристики родного аккумулятора известны 4.8 вольта. Модель аккумулятора HP 381573-001. Цена подобной батареи начинается от 4 000 рублей. По характеристикам, нам вполне подойдут четыре последовательно собранных «пальчиковых» аккумулятора и контроллер заряда, который у нас на самом деле уже имеется.

Сам аккумулятор состоит из контроллера заряда (небольшая плата) и элемента питания. В моём случае, элемент питания уже раздулся и стал не способен держать даже минимальный заряд.

Извлекаем из родного аккумулятора контроллер заряда.

У меня дома с давних пор валялся бокс под 4 батарейки, поэтому вместо покупки готового пака аккумулятора, я приобрёл отдельные 4 аккумулятора по 1.2 вольта.

Теперь, припаиваем провода, идущие от бокса к контроллеру заряда, соблюдая полярность. На плате контроллера имеются обозначения контактов.

После пайки, вставляем в бокс аккумуляторы, подключаем полученный аккумулятор к RAID контроллеру и наслаждаемся результатом. Я перед тем, как установить аккумуляторы произвёл несколько циклов заряда-разряда для стабилизации их ёмкости. Для этого использовал обычное зарядное устройство.

Так же, для удобства крепления полученной конструкции внутри корпуса сервера, контроллер, при мощи термоклея, я приклеил на корпус бокса. А сам бокс, закрепил в сервере при помощи 2-стороннего скотча 3M.

Теперь контроллер работает без проблем. Дополнительным бонусом куча сэкономленных средств и лёгкость замены аккумуляторов в дальнейшем.

Эти батареи используются для защиты содержимого кэша записи аппаратной карты RAID от потери в случае отключения электроэнергии.

Если вы используете программный RAID-контроллер или адаптер главной шины (HBA), у которого нет буфера кэша, эта статья к вам не относится.

Если у вас есть аппаратный RAID-контроллер, такой, как Intel RS3DC080, который имеет буфер аппаратного кэша — обычно размером от 512 МБ до 2 ГБ, тогда применима эта статья.

Некоторые RAID-конденсаторы или кэш-батареи могут быть особенно дорогими. Кроме того, многие кэш-батареи имеют ограниченный срок службы, и вам следует ожидать их замены каждые 3-5 лет или около того.

Аппаратные карты RAID можно настроить на использование своего буфера одним из двух способов:

Кеш только для чтения (также известный как чтение со сквозной записью).
Кеш чтения и записи (также известный как обратная запись).

В режиме кэширования чтения и записи содержимое кеша записи будет потеряно, то есть не сохранено на диск, в случае неожиданного отключения электроэнергии. Дополнительная батарея или конденсатор кэша записи может защитить содержимое этого кэша записи в течение ограниченного периода времени, обычно 48 часов или меньше. Когда питание будет восстановлено, RAID-контроллер сохранит содержимое кэша на диск.

Однако ваша операционная система все равно пострадает от некорректного завершения работы, и нет никакой гарантии, что состояние вашей файловой системы или приложения будет лучше, чем при отсутствии батареи кеш-памяти RAID.

Батарея кеш-памяти RAID защищает только часть потока данных от приложения к диску.

Внешний вид

Мы выбрали решения Adaptec от компании Microsemi. Это RAID-контроллеры, зарекомендовавшие себя удобством использования и высокой производительностью. Их мы устанавливаем, если наш клиент решил заказать сервер произвольной или фиксированной конфигурации.

RAID-контроллеры форм-фактора PCI-E

Для подключения дисков используются специальные интерфейсные кабели. Со стороны контроллера используются разъемы SFF8643. Каждый кабель позволяет подключить до 4-х дисков SAS или SATA (в зависимости от модели). Помимо этого интерфейсный кабель еще имеет восьмипиновый разъем SFF-8485 для шины SGPIO, о назначении которой поговорим чуть позже.

Помимо самого RAID-контроллера существует еще два дополнительных устройства, позволяющих увеличить надежность:

BBU (Battery Backup Unit) — модуль расширения с литий-ионной батареей, позволяющий поддерживать напряжение на энергозависимой микросхеме кэша. В случае внезапного обесточивания сервера его использование позволяет временно сохранить содержимое кэша, которое еще не было записано на диски. Как только электропитание сервера будет восстановлено — содержимое кэша будет записано на диски в штатном режиме. По заявлениям производителя полностью заряженная батарея способна хранить данные кэша в течение 72 часов.
ZMCP (Zero-Maintenance Cache Protection) — специальный модуль расширения для RAID-контроллера, имеющий собственную энергонезависимую память и суперконденсатор. В случае возникновения сбоя сервера по электропитанию, суперконденсатор обеспечивает микросхемы электроэнергией, которой достаточно для записи содержимого энергозависимой памяти кэша в NAND-память ZMCP. После того, как электропитание сервера восстановлено, содержимое кэша автоматически будет записано на диски. Именно такие модули устанавливаются в наши серверы с аппаратным RAID-контроллером и Cache Protection.

Это особенно важно, когда включен режим отложенной записи кэша (Writeback). При пропадании электропитания содержимое кэша не будет сброшено на диски, что приведет к потере данных и, как следствие, штатная работа дискового массива будет нарушена.

Технические характеристики

Температура

Вначале хотелось бы затронуть такую важную вещь, как температурный режим аппаратных RAID-контроллеров Adaptec. Все они оснащены небольшими пассивными радиаторами, что может вызвать ложное представление о небольшом тепловыделении.

Производитель контроллера приводит в качестве рекомендуемого значения воздушного потока — 200 LFM (linear feet per minute), что соответствует показателю 8,24 литра в секунду (или 1,02 метра в секунду). Рассчитаны такие контроллеры исключительно на установку в rackmount-корпусы, где такой воздушный поток создается скоростными штатными кулерами.

От 0°C до 40-55°C — рабочая температура большинства RAID-контроллеров Adaptec (в зависимости от наличия установленных модулей), рекомендованная производителем. Максимальная рабочая температура чипа составляет 100°C. Функционирование контроллера при повышенной температуре (более 85°C) может вывести его из строя. Удобства ради приводим под спойлером табличку рекомендуемых температур для разных серий контроллеров Adaptec.

Серия контроллера Adaptec	Рабочая температура
Series 2 (2405, 2045, 2805) and 2405Q	55°C без модулей
Series 5 (5405, 5445, 5085, 5805, 51245, 51645, 52445)	55°C без батарейного модуля, 40°C с батарейным модулем ABM-800
Series 5Z (5405Z, 5445Z, 5805Z, 5805ZQ)	50°C с модулем ZMCP
Series 5Q (5805Q)	55°C без батарейного модуля, 40°C с батарейным модулем ABM-800
Series 6E (6405E, 6805E)	55°C без модулей
Series 6/6T (6405, 6445, 6805, 6405T, 6805T)	55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-600
Series 6Q (6805Q, 6805TQ)	50°C с ZMCP модулем AFM-600
Series 7E (71605E)	55°C без модулей
Series 7 (7805, 71605, 71685, 78165, 72405)	55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-700
Series 7Q (7805Q, 71605Q)	50°C с ZMCP модулем AFM-700
Series 8E (8405E, 8805E)	55°C без модулей
Series 8 (8405, 8805, 8885)	55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-700
Series 8Q (8885Q, 81605Z, 81605ZQ)	50°C с ZMCP модулем AFM-700

Скорость работы

Для того чтобы продемонстрировать, как наличие аппаратного RAID-контроллера способствует увеличению скорости работы сервера, мы решили собрать тестовый стенд со следующей конфигурацией:

CPU Intel Xeon E3-1230v5;
RAM 16 Gb DDR4 2133 ECC;
4 HDD емкостью по 1 ТБ.

В качестве операционной системы будет установлена CentOS 7. Роль серверного приложения возьмет на себя 1C Bitrix24. Вначале мы соберем программный RAID-массив с помощью mdadm и измерим производительность с помощью встроенного в Bitrix24 теста. Каких-либо изменений или дополнительных настроек в систему специально не вносим — устанавливается демо-конфигурация с настройками по-умолчанию.

Затем в этот же стенд поставим RAID-контроллер Adaptec ASR 7805 с модулем защиты кэша AFM-700, подключим к нему эти же жесткие диски и выполним точно такое же тестирование.

С программным RAID

Несомненное преимущество программного RAID — простота использования. Массив в ОС Linux создается с помощью штатной утилиты mdadm. При установке операционной системы чаще всего создание массива предусмотрено непосредственно из установщика. В случае, когда такой возможности установщик не предоставляет, достаточно всего лишь перейти в соседнюю консоль с помощью сочетания клавиш Ctrl+Alt+F2 (где номер функциональной клавиши — это номер вызываемой tty).

Создать массив очень просто. Командой fdisk -l смотрим, какие диски присутствуют в системе. В нашем случае это 4 диска:

Проверяем, чтобы на дисках не было метаданных, например, от предыдущего массива:

В случае, если на одном или нескольких дисках будут метаданные, удалить их можно следующим образом (где sdX — требуемый диск):

Создадим на каждом диске разделы для будущего массива c помощью fdisk. В качестве типа раздела следует указать fd (Linux RAID autodetect).

Собираем массив RAID 10 из созданных разделов с помощью команды:

Сразу после этого будет создан массив /dev/md0 и будет запущен процесс перестроения данных на дисках. Для отслеживания текущего статуса процесса введите:

Пока процесс перестроения данных не будет завершен, скорость работы дискового массива будет снижена.

После установки операционной системы и Bitrix24 на созданный массив мы запустили стандартный тест и получили следующие результаты:

С аппаратным RAID

Прежде чем сервер сможет использовать единое дисковое пространство RAID-массива, необходимо выполнить базовую настройку контроллера и логических дисков. Сделать это можно двумя способами:

при помощи внутренней утилиты контроллера,
утилитой из операционной системы.

Внешний вид утилиты

Утилита позволяет не только управлять настройками контроллера, но и логическими устройствами. Инициализируем физические диски (вся информация на дисках при инициализации будет уничтожена) и создадим массив RAID-10 с помощью раздела Create Array. При создании система запросит желаемый размер страйпа, то есть размер блока данных за одну I/O-операцию:

больший размер страйпа идеален для работы с файлами большого размера;
меньший размер страйпа подойдет для обработки большого количества файлов небольшого размера.

Сразу после того, как контроллеру отдана команда создания массива, также, как и с программным RAID, начинается процесс перестроения данных на дисках. Этот процесс работает в фоновом режиме, при этом логический диск становится сразу доступен для BIOS. Производительность дисковой подсистемы будет также снижена до завершения процесса. В случае, если было создано несколько массивов, то необходимо определить загрузочный массив с помощью сочетания клавиш Ctrl + B.

После того как статус массива изменился на Optimal, мы установили Bitrix24 и провели точно такой же тест. Результат теста:

Сразу становится понятно, что аппаратный RAID-контроллер ускоряет операции чтения и записи на дисковый носитель за счет использования кэша, что позволяет быстрее обрабатывать массовые обращения пользователей.

Управление контроллером

Непосредственно из операционной системы управление контроллером производится с помощью программного обеспечения, доступного для скачивания с сайта производителя. Доступны варианты для большинства операционных систем и гипервизоров:

Debian,
Ubuntu,
Red Hat Linux,
Fedora,
SuSE Linux,
FreeBSD,
Solaris,
Microsoft Windows,
Citrix XenServer,
VMware ESXi.

Пользователям других дистрибутивов Linux также доступны исходные коды драйверов. Помимо драйверов и консольной утилиты ARCCONF производитель также предлагает программу с графическим интерфейсом для удобного управления контроллером — maxView Storage Manager.

С помощью указанных утилит можно, не прерывая работу сервера, легко управлять логическими и физическими дисками. Также можно задействовать такой полезный функционал, как «подсветка диска». Мы уже упоминали про пятый кабель для подключения SGPIO — этот кабель подключается напрямую в бэкплейн (от англ. backplane — соединительная плата для накопителей сервера) и позволяет RAID-контроллеру полностью управлять световой индикацей каждого диска.

Следует помнить, что бэкплэйны поддерживают не только SGPIO, но и I2C. Переключение между этими режимами осуществляется чаще всего с помощью джамперов на самом бэкплэйне.

Каждому устройству, подключенному к аппаратному RAID-контроллеру Adaptec, присваивается идентификатор, состоящий из номера канала и номера физического диска. Номера каналов соответствуют номерам портов на контроллере.

Замена диска — штатная операция, впрочем, требующая однозначной идентификации. Если допустить ошибку при этой операции, можно потерять данные и прервать работу сервера. С аппаратным RAID-контроллером такая ошибка является редкостью.

Делается это очень просто:

Контроллер даст соответствующую команду на бэкплэйн, и светодиод нужного диска начнет равномерно моргать цветом, отличающимся от стандартного рабочего.

Например, на платформах Supermicro штатная работа диска — зеленый или синий цвет, а «подсвеченный» диск будет моргать красным. Перепутать диски в этом случае невозможно, что позволит избежать ошибки из-за человеческого фактора.

«Подсвеченный» диск

Настройка кэширования

Теперь пару слов о вариантах работы кэша на запись. Вариант Write Through означает, что контроллер сообщает операционной системе об успешном выполнении операции записи только после того, как данные будут фактически записаны на диски. Это повышает надежность сохранности данных, но никак не увеличивает производительность.

Чтобы достичь максимальной скорости работы, необходимо использовать вариант Write Back. При такой схеме работы контроллер будет сообщать операционной системе об успешной IO-операции сразу после того, как данные поступят в кэш.

Важно — при использовании Write Back настоятельно рекомендуется использовать BBU или ZMCP-модуль, поскольку без него при внезапном отключении электричества часть данных может быть утеряна.

Настройка мониторинга

Вопрос мониторинга статуса работы оборудования и возможности оповещения стоит достаточно остро для любого системного администратора. Для того чтобы настроить «связку» из Zabbix и RAID-контроллера Adaptec рекомендуем воспользоваться перечисленными решениями.

Зачастую требуется отслеживать состояние контроллера напрямую из гипервизора, например, VMware ESXi™. Задача решается с помощью установки CIM-провайдера с помощью инструкции Microsemi.

Прошивка

Необходимость прошивки RAID-контроллера возникает чаще всего для исправления выявленных производителем проблем с работой устройства. Несмотря на то, что прошивки доступны для самостоятельного обновления, к этой операции следует подойти очень ответственно, особенно если процедура выполняется на «боевой» системе.

Если нашему клиенту требуется сменить версию прошивки контроллера, то ему достаточно создать тикет в нашей панели управления. Системные инженеры выполнят перепрошивку RAID-контроллера до требуемой версии в указанное время и сделают это максимально корректно.

Важно — не следует выполнять перепрошивку самостоятельно, поскольку любая ошибка может привести к потере данных!

Заключение

Использование аппаратного RAID-контроллера оправдано в большинстве случаев, когда требуется высокая скорость и надежность работы дисковой подсистемы.

Системные инженеры Selectel бесплатно выполнят базовую настройку дискового массива на аппаратном RAID-контроллере при заказе сервера произвольной конфигурации. В случае, если потребуется дополнительная помощь с настройкой, мы будем рады помочь в рамках нашей услуги администрирования. Также мы подготовили для наших читателей небольшую памятку по командам утилиты arcconf.

Читайте также: