Как сделать raid centos
Обновлено: 05.07.2024
Записка про настройку программного рейд массива на операционной системе CentOS 7. Думаю объяснять не надо, зачем нужен программный рейд.
Пока записка в сыром виде.
Эта записка почти как предыдущая, которая была основана на CentOS 6. Но в CentOS 7 изменились некоторые вещи, такие как обновленный загрузчик Grub2, файловая система по умолчанию стала xfs за место ext4, графический установщик Anaconda совсем стал другим. Поэтому на свет появилась эта маленькая записка. Конечно гуру Линуксоиды не найдут здесь ничего нового для себя. И вследствии этого, записка рассчитана на начинающих Линуксоидов, которым нужна любая информация по этой теме. Хотя многие мои записку, я пишу чисто для себя, чтобы не забыть то что было сделано, так сказать закрепить пройденное и оставить у себя под рукой.
Как обычно, будут рассмотрены два простых способа настройки программного рейд массива:
1. Системный диск с уже установленной CentOS 7 + два новых одинаковых диска для создания рейд массива.
Здесь массив будет создан после подключения двух дополнительных дисков к уже имеющемуся работающему системному.
2. Только два одинаковых новых диска в компьютере.
В этому случае рейд массив будет создан во время установки операционной системы CentOS 7.
Первый способ: Системный диск + два новых HDD
1. Определяем какие жесткие диски будут в рейде
Чтобы определить какие жесткие диски есть в системе, введем комманду:
Здесь мы видим что у нас в компьютере имеется три физических жестких диска, это:
Первый жесткий диск sda - является системным, его первый раздел отмечен как загрузочный для системы Linux звездочкой (*).
Размер системного диска 8589 Мбайт, а два добавленных с объемом 85,9 Гбайт - пустые. Из них будем делать рейд.
2. Создаем рейд массив из двух HDD
Примечание: Чтобы установить утилиту mdadm, у вас должен быть настроен интернет.
Для организации рейд массива зеркального типа (уровень 1).
Вводим следующею команду для создания рейд массива:
После ввода команды будет вопрос (создать массив - отвечаем Да):
Continue creating array? y
Здесь мы не указываем определенные разделы, так как у нас их нет. Поэтому мы сразу написали имена дисков участвующих в массиве sdb и sdc. Разделы пишутся так sdb1 или sdb2.
Рассмотрим данную команду по ближе:
-- level - задает тип рейд массива, это может быть 0, 1, 5, 6.
--raid-devices - задает количество дисков участвующих в организации рейда
/dev/sdb - первый жесткий диск
/dev/sdc - второй жесткий диск
/dev/md0 - собственно, имя создаваемого массива
Проверяем, создался ли массив:
Personalities : [raid1]
md0 : active raid1 sdc[1] sdb[0]
8387572 blocks super 1.2 [2/2] [UU]
3. Записываем файловую систему в рейд
Разметим пространство создав файловую систему на нашем рейде, в качестве ФС (файловая система) берем xfs, так как она используется в CentOS 7 по умолчанию :
4. Создаем конфиг файл утилиты mdadm
Теперь, создадим конфиг файл для утилиты mdadm:
Осталось не много, при монтируем наш рейд в системе, чтобы в него могли писать программы.
5. Монтируем рейд в системе.
Создадим точку монтирования, каталог /mnt/raid:
При монтируем рейд в ручную:
Теперь проверим, появился ли он в системе:
Как видим, он есть.
6. Автомонтирование рейд массива при загрузке системы
Чтобы ваш рейд всегда автоматически монтировался при загрузке ОС, добавьте строчку в файл rc.local :
Первый вариант монтирования, он более безопасный и лучший:
Или попробуйте второй способ монтирования, если вы неправильно введете данные в этом файле, ваша операционная система не сомжет загрузиться. Продолжим, добавьте строчку в файл /etc/fstab, :
Второй способ: Два новых HDD как системные и еще в рейде
Этот случай самый распространенный, массив делается сразу во время установки операционной системы, поэтому многие используют именно такую настройку для сервера. Допустим у нас новенький сервер, в нем установлено два жестких диска объемом по 85 Гб.
Кратко надо будет сделать следующее:
- Создать раздел /boot и включить его в рейд массив уровня 1. При этом должен появится отдельный массив md126 включающий в себя два раздела sda1 и sdb1 на двух дисках. Размер раздела /boot обычно не превышает 1000Мбайт.
- Создать корневой раздел / и включить его в рейд массив уровня 1. Создастся уже другой массив с именем md127, в него войдут два раздела двух дисков sda2 и sdb2 с оставшимся дисковым пространством. То есть все доступное место дисков будет отдано на массив.
- Можно еще создать раздел swap, но как оказалось, многим он не нужен.
Загружаемся с установочного диска DVD CentOS 7:
Выбираем первый пункт - Install CentOS 7
Выбираем English и жмем Continue
Жмем Installation Destinination - No disk selected (не выбран диск для установки)
Здесь выделяем два диска и выбираем "I will configure partitioning"
Здесь выдим что у нас 160Гбайт общего места - общая сумма дискового места с двух дисков.
Нажмите на крестик который вы видите на картинке, чтобы создать первый раздел.
Mount Point ставим /boot
Объем 1000Мбайт, нажимаем - Add mount point
Итоговое окно с одним разделом, теперь надо настроить массив. Чтобы раздел /boot был на двух дисках. Для этого выберите Device Type: RAID
Здесь выбрано - Device Type: RAID и RAID Level: RAID1 для загрузочного раздела /boot
Создадим теперь второй массив, в него включим корневой раздел и отдадим ему все оставшееся место на дисках.
Щелкните опять кнопку "плюсика" чтобы добавить новый раздел.
В выпадающем списке " Mount Point" выберите корневой раздел, он обозначается символом слэша - /
Размер задавать не надо.
Итоговое окно с уже созданным корневым разделом (/). Щелкните кнопку "Modify", чтобы создать рейд массив из двух корневых разделов двух дисков.
Здесь выбираем RIAD Level: RAID 1(Redundancy)
Size policy: Fixed
Нажимаем кнопку "Save".
Все разделы созданы, нажимаем кнопку "Done" два раза . Установщик будет ругаться что не создан раздел Swap.
Нажимаем "Accept Changes".
Нажимаем "Begin Installation"
Задаем пароль root.
Нажимаем кнопку reboot для перезагрузки компьютера.
И проверяем наши два массива войдя под учетной записью - root.
Графический установщик Anaconda, создает сам конфигурационный файл /etc/mdadm.conf
Поэтому ничего лишнего делать не надо!
Проверяем состояние массива:
Проверка настроек загрузчика, там должно быть два диска (4 раздела, самый первый загрузочный hd0). Это порядок загрузки с разделов:Проверяем сколько физических дисков в системе, какие массивы есть и сколько разделов:
Disk /dev/sda: 85.9 GB, 85899345920 bytes, 167772160 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x0001840b
Device Boot Start End Blocks Id System
/dev/sda1 * 2048 1955839 976896 fd Linux raid autodetect
/dev/sda2 1955840 167770111 82907136 fd Linux raid autodetect
Disk /dev/sdb: 85.9 GB, 85899280384 bytes, 167772032 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x0005c0f2
Device Boot Start End Blocks Id System
/dev/sdb1 * 2048 1955839 976896 fd Linux raid autodetect
/dev/sdb2 1955840 167770111 82907136 fd Linux raid autodetect
Disk /dev/md127: 84.8 GB, 84829798400 bytes, 165683200 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk /dev/md126: 1000 MB, 1000275968 bytes, 1953664 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk /dev/mapper/centos-root: 84.8 GB, 84783661056 bytes, 165593088 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Ещё один блог о системном администрировании, операционных системах, СУБД, сетях, костылях-велосипедах и пр.
В данной заметке будет описан процесс создания программного raid1 массива на уже установленной и работающей системе CentOS7. Также настроим загрузчик grub таким образом, чтобы при выходе из строя одного из дисков система всеравно запустилась.
Об этой теме в интернете написано довольно много и рассмотрена она на многих ресурсах (вот тут даже на Хабре есть описание), но я решил описать этот процесс здесь, чтобы потом долго не искать, если вдруг что-то забуду. Создаваться массив будет с помощью утилиты mdadm, в конце заметки будут даны несколько примеров ее использования.
- Диск /dev/sda, на котором имеются следующие разделы:
- /dev/sda1 - раздел / с файловой системой ext4
- /dev/sda2 - swap
- /dev/sda3 - раздел /opt с файловой системой ext4
- Абсолютно чистый /dev/sdb, идентичный по размеру с /dev/sda
В результате должно получиться следующее:
- /dev/md0, полученный из /dev/sda1 и /dev/sdb1
- /dev/md1, полученный из /dev/sda2 и /dev/sdb2
- /dev/md2, полученный из /dev/sda3 и /dev/sdb3
Как я уже написал в начале заметки, для создания массива будет использоваться утилита mdadm.
Для ее установки:
Для создания массива raid1 на уже работающей системе, необходимо подготовить диск /dev/sdb, скопировать на него все содержимое диска /dev/sda и только после этого добавить /dev/sda к массиву.
Для начала копируем таблицу разделов диска /dev/sda на диск /dev/sdb:
Команда fdisk -l должна теперь показать идентичную разметку обоих дисков.
Желательно (но не обязательно) изменить тип всех трех разделов и установить его равным FD (Linux RAID autodetect). Изменить тип раздела можно с помощью fdisk:
Перейдем к созданию raid1 массивов. Поскольку диск /dev/sda сейчас занят (на нем запущена система) разделы /dev/sda1, /dev/sda2 и /dev/sda3 нельзя добавить к массиву. Создаем raid1 из одного диска, для вторго используем заполнитель missing:
Следующий шаг – создание файловых систем на наших массивах:
Теперь монтируем наши /dev/md0 и /dev/md2 для копирования текущей системы. Естественно, swap массив /dev/md1 монтировать не нужно:
Копируем содержимое разделов /dev/sda1 и /dev/sda3 на /dev/md0 и /dev/md2 соответственно:
Монтируем информацию о текущей системе в наш новый корень и делаем chroot в него:
Получаем UUID /dev/md0, /dev/md1 и /dev/md2, вносим их в /etc/fstab, где заменяем UUID разделов диска /dev/sda:
Создаем конфиг для mdadm:
Делаем новый initramfs:
Передаем ядру опцию "rd.auto=1" явно через grub, для этого добавляем ее в GRUB_CMDLINE_LINUX:
Перепишем конфиг grub и установим его на наш диск sdb:
Далее выполним перезагрузку сервера. Через BIOS Boot Menu выбираем диск с половинкой raid.
После удачной загрузки, переделываем sda в часть raid1 массива. С помощью fdisk изменим тип всех трех разделов и установим его равным FD (Linux RAID autodetect). Далее добавим диск в raid1 и переустановим grub на диск:
После этого можем посмотреть как собирается raid1 массив через /proc/mdstat:
На этом все, программный raid1 успешно создан!
Ниже несколько примеров для работы с утилитой mdadm.
Примеры использования mdadm
Пометка диска как сбойного
Диск в массиве можно условно сделать сбойным, ключ --fail (-f):
Удаление сбойного диска
Сбойный диск можно удалить с помощью ключа --remove (-r):
Добавление нового диска
Добавить новый диск в массив можно с помощью ключей --add (-a) и --re-add:
Сборка существующего массива
Собрать существующий массив можно с помощью mdadm --assemble. Как дополнительный аргумент указывается, нужно ли выполнять сканирование устройств, и если нет, то какие устройства нужно собирать.
Расширение массива
Расширить массив можно с помощью ключа --grow (-G). Сначала добавляется диск, а потом массив расширяется:
Проверяем, что диск (раздел) добавился:
Если раздел действительно добавился, мы можем расширить массив:
Опция --raid-devices указывает новое количество дисков используемое в массиве. Например, было 3 диска, а теперь расширяем до 4-х - указываем 4.
Рекомендуется задать файл бэкапа на случай прерывания перестроения массива, например добавить:
При необходимости, можно регулировать скорость процесса расширения массива, указав нужное значение в файлах
Программный RAID проще и безопаснее, т. к. если что-то выйдет из строя, то RAID достаточно просто восстановить, а если выйдет из строя аппаратный RAID контроллер, то проблем будет больше.
Выбор дисков для RAID массивов
Для отображения подключенных дисков выполним команду:
Создание RAID1 массива
Выполним следующие команды для создания массивов для БД и логов:
На вопрос Continue creating array? отвечаем y.
Проверим результат выполнения команд:
Настройка RAID массивов
Разметим пространство. В качестве файловой системы выберем ext4:
Создадим конфигурационный файл для утилиты mdadm:
Монтируем созданные RAID массивы в каталог /raid:
Для автоматического монтирования RAID массивов при загрузке системы выполним команду:
в открывшемся файле добавим строчки:
/dev/md0 /raid200 ext4 defaults 1 2
/dev/md1 /raid120 ext4 defaults 1 2
Примеры использования mdadm
Пометка диска как сбойного
Удаление сбойного диска
Добавление нового диска
Сборка существующего массива
Расширение массива
Проверяем, что диск (раздел) добавился:
Если раздел действительно добавился, мы можем расширить массив:
Рекомендуется задать файл бэкапа на случай прерывания перестроения массива, например добавить:
При необходимости, можно регулировать скорость процесса расширения массива, указав нужное значение в файлах
Убедитесь, что массив расширился:
Нужно обновить конфигурационный файл с учётом сделанных изменений:
Переименование массива
Для начала отмонтируйте и остановите массив:
Затем необходимо пересобрать как md5 каждый из разделов sd[abcdefghijk]1
Удаление массива
Для начала отмонтируйте и остановите массив:
Затем необходимо затереть superblock каждого из составляющих массива:
Если действие выше не помогло, то затираем так:
Заключение
В итоге мы получили два программных RAID массива уровня 1, которые будем использовать для баз данных 1С:Предприятие 8.3
mdadm — утилита для работы с программными RAID-массивами различных уровней. В данной инструкции рассмотрим примеры ее использования.
Установка mdadm
Утилита mdadm может быть установлена одной командой.
Если используем CentOS / Red Hat:
yum install mdadm
Если используем Ubuntu / Debian:
apt-get install mdadm
Сборка RAID
Перед сборкой, стоит подготовить наши носители. Затем можно приступать к созданию рейд-массива.
Подготовка носителей
Сначала необходимо занулить суперблоки на дисках, которые мы будем использовать для построения RAID (если диски ранее использовались, их суперблоки могут содержать служебную информацию о других RAID):
mdadm --zero-superblock --force /dev/sd
* в данном примере мы зануляем суперблоки для дисков sdb и sdc.
Если мы получили ответ:
mdadm: Unrecognised md component device - /dev/sdb
mdadm: Unrecognised md component device - /dev/sdc
. то значит, что диски не использовались ранее для RAID. Просто продолжаем настройку.
Далее нужно удалить старые метаданные и подпись на дисках:
wipefs --all --force /dev/sd
Создание рейда
Для сборки избыточного массива применяем следующую команду:
mdadm --create --verbose /dev/md0 -l 1 -n 2 /dev/sd
- /dev/md0 — устройство RAID, которое появится после сборки;
- -l 1 — уровень RAID;
- -n 2 — количество дисков, из которых собирается массив;
- /dev/sd — сборка выполняется из дисков sdb и sdc.
Мы должны увидеть что-то на подобие:
Также система задаст контрольный вопрос, хотим ли мы продолжить и создать RAID — нужно ответить y:
Continue creating array? y
Мы увидим что-то на подобие:
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
. и находим информацию о том, что у наших дисков sdb и sdc появился раздел md0, например:
.
sdb 8:16 0 2G 0 disk
??md0 9:0 0 2G 0 raid1
sdc 8:32 0 2G 0 disk
??md0 9:0 0 2G 0 raid1
.
* в примере мы видим собранный raid1 из дисков sdb и sdc.
Создание файла mdadm.conf
В файле mdadm.conf находится информация о RAID-массивах и компонентах, которые в них входят. Для его создания выполняем следующие команды:
echo "DEVICE partitions" > /etc/mdadm/mdadm.conf
DEVICE partitions
ARRAY /dev/md0 level=raid1 num-devices=2 metadata=1.2 name=proxy.dmosk.local:0 UUID=411f9848:0fae25f9:85736344:ff18e41d
* в данном примере хранится информация о массиве /dev/md0 — его уровень 1, он собирается из 2-х дисков.
Создание файловой системы и монтирование массива
Создание файловой системы для массива выполняется также, как для раздела:
* данной командой мы создаем на md0 файловую систему ext4.
Примонтировать раздел можно командой:
mount /dev/md0 /mnt
* в данном случае мы примонтировали наш массив в каталог /mnt.
Чтобы данный раздел также монтировался при загрузке системы, добавляем в fstab следующее:
/dev/md0 /mnt ext4 defaults 1 2
Для проверки правильности fstab, вводим:
Мы должны увидеть примонтированный раздел md, например:
/dev/md0 990M 2,6M 921M 1% /mnt
Информация о RAID
Посмотреть состояние всех RAID можно командой:
В ответ мы получим что-то на подобие:
md0 : active raid1 sdc[1] sdb[0]
1046528 blocks super 1.2 [2/2] [UU]
* где md0 — имя RAID устройства; raid1 sdc[1] sdb[0] — уровень избыточности и из каких дисков собран; 1046528 blocks — размер массива; [2/2] [UU] — количество юнитов, которые на данный момент используются.
** мы можем увидеть строку md0 : active(auto-read-only) — это означает, что после монтирования массива, он не использовался для записи.
Подробную информацию о конкретном массиве можно посмотреть командой:
* где /dev/md0 — имя RAID устройства.
Version : 1.2
Creation Time : Wed Mar 6 09:41:06 2019
Raid Level : raid1
Array Size : 1046528 (1022.00 MiB 1071.64 MB)
Used Dev Size : 1046528 (1022.00 MiB 1071.64 MB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Wed Mar 6 09:41:26 2019
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Consistency Policy : resync
Name : proxy.dmosk.local:0 (local to host proxy.dmosk.local)
UUID : 304ad447:a04cda4a:90457d04:d9a4e884
Events : 17
Number Major Minor RaidDevice State
0 8 16 0 active sync /dev/sdb
1 8 32 1 active sync /dev/sdc
- Version — версия метаданных.
- Creation Time — дата в время создания массива.
- Raid Level — уровень RAID.
- Array Size — объем дискового пространства для RAID.
- Used Dev Size — используемый объем для устройств. Для каждого уровня будет индивидуальный расчет: RAID1 — равен половине общего размера дисков, RAID5 — равен размеру, используемому для контроля четности.
- Raid Devices — количество используемых устройств для RAID.
- Total Devices — количество добавленных в RAID устройств.
- Update Time — дата и время последнего изменения массива.
- State — текущее состояние. clean — все в порядке.
- Active Devices — количество работающих в массиве устройств.
- Working Devices — количество добавленных в массив устройств в рабочем состоянии.
- Failed Devices — количество сбойных устройств.
- Spare Devices — количество запасных устройств.
- Consistency Policy — политика согласованности активного массива (при неожиданном сбое). По умолчанию используется resync — полная ресинхронизация после восстановления. Также могут быть bitmap, journal, ppl.
- Name — имя компьютера.
- UUID — идентификатор для массива.
- Events — количество событий обновления.
- Chunk Size (для RAID5) — размер блока в килобайтах, который пишется на разные диски.
Подробнее про каждый параметр можно прочитать в мануале для mdadm:
Также, информацию о разделах и дисковом пространстве массива можно посмотреть командой fdisk:
Проверка целостности
Для проверки целостности вводим:
Результат проверки смотрим командой:
* если команда возвращает 0, то с массивом все в порядке.
Восстановление RAID
Рассмотрим два варианта восстановлении массива.
Замена диска
В случае выхода из строя одного из дисков массива, команда cat /proc/mdstat покажет следующее:
Personalities : [raid1]
md0 : active raid1 sdb[0]
1046528 blocks super 1.2 [2/1] [U_]
* о наличии проблемы нам говорит нижнее подчеркивание вместо U — [U_] вместо [UU].
.
Update Time : Thu Mar 7 20:20:40 2019
State : clean, degraded
.
* статус degraded говорит о проблемах с RAID.
Для восстановления, сначала удалим сбойный диск, например:
mdadm /dev/md0 --remove /dev/sdc
Теперь добавим новый:
mdadm /dev/md0 --add /dev/sde
Смотрим состояние массива:
.
Update Time : Thu Mar 7 20:57:13 2019
State : clean, degraded, recovering
.
Rebuild Status : 40% complete
.
* recovering говорит, что RAID восстанавливается; Rebuild Status — текущее состояние восстановления массива (в данном примере он восстановлен на 40%).
Если синхронизация выполняется слишком медленно, можно увеличить ее скорость. Для изменения скорости синхронизации вводим:
* по умолчанию скорость speed_limit_min = 1000 Кб, speed_limit_max — 200000 Кб. Для изменения скорости, можно поменять только минимальную.
Пересборка массива
Если нам нужно вернуть ранее разобранный или развалившийся массив из дисков, которые уже входили в состав RAID, вводим:
mdadm --assemble --scan
* данная команда сама найдет необходимую конфигурацию и восстановит RAID.
Также, мы можем указать, из каких дисков пересобрать массив:
mdadm --assemble /dev/md0 /dev/sdb /dev/sdc
Запасной диск (Hot Spare)
Если в массиве будет запасной диск для горячей замены, при выходе из строя одного из основных дисков, его место займет запасной.
Диском Hot Spare станет тот, который просто будет добавлен к массиву:
mdadm /dev/md0 --add /dev/sdd
Информация о массиве изменится, например:
.
Number Major Minor RaidDevice State
0 8 16 0 active sync /dev/sdb
2 8 48 1 active sync /dev/sdc
3 8 32 - spare /dev/sdd
Проверить работоспособность резерва можно вручную, симулировав выход из строя одного из дисков:
mdadm /dev/md0 --fail /dev/sdb
И смотрим состояние:
.
Rebuild Status : 37% complete
.
Number Major Minor RaidDevice State
3 8 32 0 spare rebuilding /dev/sdd
2 8 48 1 active sync /dev/sdc
0 8 16 - faulty /dev/sdb
.
* как видим, начинается ребилд. На замену вышедшему из строя sdb встал hot-spare sdd.
Добавить диск к массиву
В данном примере рассмотрим вариант добавления активного диска к RAID, который будет использоваться для работы, а не в качестве запасного.
Добавляем диск к массиву:
mdadm /dev/md0 --add /dev/sde
4 8 16 - spare /dev/sde
Теперь расширяем RAID:
mdadm -G /dev/md0 --raid-devices=3
* в данном примере подразумевается, что у нас RAID 1 и мы добавили к нему 3-й диск.
Удаление массива
При удалении массива внимателнее смотрите на имена массива и дисков и подставляйте свои значения.
Если нам нужно полностью разобрать RAID, сначала размонтируем и остановим его:
* где /mnt — каталог монтирования нашего RAID.
* где /dev/md0 — массив, который мы хотим разобрать.
* если мы получим ошибку mdadm: fail to stop array /dev/md0: Device or resource busy, с помощью команды lsof -f -- /dev/md0 смотрим процессы, которые используют раздел и останавливаем их.
Затем очищаем суперблоки на всех дисках, из которых он был собран:
mdadm --zero-superblock /dev/sdb
mdadm --zero-superblock /dev/sdc
mdadm --zero-superblock /dev/sdd
* где диски /dev/sdb, /dev/sdc, /dev/sdd были частью массива md0.
Читайте также: