Как создать raid в freebsd

Обновлено: 04.07.2024

Вы когда-нибудь нуждались в программном решении RAID на сервере начального уровня? Возможно, вы хотели бы использовать избыточность, предоставляемую зеркалированием, на своей рабочей станции не тратя денег на RAID-контроллер? А может, у вас был уже опыт настройки программного RAID на UNIX-системах и вы потерпели неудачу?

Начиная с 5.3-Release, в состав FreeBSD входит утилита gmirror(8), которая позваляет вам более легко создавать решения RAID 1. Хотя существует учебник по gmirror(8), все равно требуется много вычислений размеров разделов с помощью bsdlabel или использование дискеты восстановления имеющейся системы.

Мне кажется, что было бы более разумно настраивать RAID во время установки системы. Так же, хотелось бы разработать методику, на которую не влиял бы человеческий фактор, в виде ошибочных расчетов. После нескольких проб и ошибок, была разработана данная методика, которая была мною проверена на различных системах и хорошо себя зарекомедовала. Так же, я получила ценные данные от Поэльа Джакаба Доидека(Pawel Jakub Dawidek), автора gmirror, в добавок раскрывшего мне некоторые недокументированные возможности gmirror.

Некоторая подготовка GEOM

Начальная g указывает на то, что эти утилиты пользуются возможностями, которые предоставляет GEOM.

man 4 geom описывает используемые термины, которые включают в себя:

Конфигурирование зеркалирования/дуплекса

Если вы собираетесь сделать RAID 1, то не ищите лишних сложностей, а купите два идентичных (одного производителя и емкости) жестких диска. Вы можете и не последовать этому совету, но тогда столкнетесь с некоторыми сложностями и впустую потратите излишек свободного места на большем диске. Подключите диски как primary master и secondary master. Перед установкой операционной системы проверьте, что ваш CMOS распознает оба диска.

Используя ваш любимый инсталляционный метод, запустите установку FreeBSD любой версии (5.3 или выше). Когда Вы принимаетесь за меню Select Drives, то должны увидеть ad0 и ad2. Выберите ad0, поскольку вы будете устанавливать операционную систему на primary master.

В редакторе меток диска создайте разделы на ad0 согласно вашим требованиям. Если есть какие-либо сомнения, то выберите автоматический режим. После этого выберите устанавливаемые наборы и тип носителя, после чего установите операционную систему в обычном порядке.

Когда установка завершится, установите ваш часовой пояс, создайте учетную запись пользователя, установите пароль root, и так далее.

После настройки этих параметров не стоит перезагружаться. Нажмите Alt-F4 для перехода в режим командной строки. Первой командой, которую я ввожу, обычно бывает csh, для того, чтобы у меня была оболочка с историей команд (по умолчанию устанавливается оболочка Bourne).

Создание зеркалирования/дублекса осуществляется вводом следующей команды:

Однако, если вы попробуете выполнить эту команду сейчас, то будете разочарованы:

Это особенность защиты, которая указывает, что диск в настоящее время установлен для записи и поэтому недоступен. Однако, вы можете обойти эту проблему цыпленка-и-яйца и временно вынудить gmirror обойти эту меру, чтобы создать зеркалирование/дуплекс, устанавливая sysctl MIB:

Все, теперь у нас есть RAID 1.

Так же теперь нам необходимо отредактировать два файла. Первый из них в настоящее время пуст, используем утилиту echo для того, чтобы внести в него необходимый параметр:

Поскольку в файле /etc/fstab у нас уже содержатся некие данные, то лучше сделать его резервную копию.

Измените каждый ad на gm и вставьте mirror после /dev. Для примера, /dev/ad0s1a трансформируется в /dev/mirror/gm0s1a. Если вы не делали дополнительные разделы, то у вас будут устройства ad0s1, оканчивающиеся на a, b, d, e и f. Необходимо отредактировать каждую строку.

После внесения всех изменений, проверьте эти файлы еще раз. Будет очень обидно, если система не загрузится из-за сделанной опечатки.

Обратите внимание, что в некоторых руководствах указано требование к наличию опции swapoff в /etc/rc.conf. Теперь это не является необходимым, так же как и использование shutdown -r now вместо reboot.

Теперь, когда вы уверены, что все в порядке, нажмите Alt-F1, извлеките установочный диск и выйдите из утилиты установки.

Загрузка в режиме зеркалирования/дуплекса

Если вы внимательно смотрите на экран во время начальной загрузки, то должны увидеть следущие строки:

После монтирования /dev/mirror/gm0s1a система продолжит загрузку. Если вы допустили опечатку в /etc/fstab, то загрузка остановится и система будет ждать от вас каких-либо действий. Я забыла вставить mirror, когда редактировала /etc/fstab:

К счастью, все не так страшно, как выглядит. Сперва просмотрим доступные дисковые устройства:

Если вы укажете правильное расположение корневой файловой системы, то система продолжит загружаться:

После входа в систему, исправьте /etc/fstab и перезагрузитесь, после чего снова войдите в систему и удостоверьтесь, что все файловые системы примонтированы правильно:

Утилита df не покажет состояние раздела подкачки, воспользуемся другой:

Синхронизация дисков

Единственное, что мы еще не сделали, так это не синхронизировали диски. Это случится автоматически, как только вы вставите второй диск в зеркало:

Смотрите, что случится:

Обратите на SYNCHRONIZING в строке Flags. Для синхронизации дисков потребуется некоторое время, в настоящее время синхронизировано 1% данных. Приблизительно, время синхронизации составляет от 30 минут для 10Гб и 2.5 часа для 75Гб дисков. Если вам интересно, то вы можете понаблюдать за процессом:

Если вы повторно выполните команду gmirror list, то увидите, что в строке State значение DEGRADED изменилось на COMPLETE. Не волнуйтесь, увидев в строке Flags состояние DIRTY, это означает, что система сделала запись на диск, но еще не синхронизировала данные между дисками, если потождать несколько секунд, не производя никаких дисковых операций, то можно увидеть, как состояние изменится на NONE.

В финале действа, перезагрузите систему.

Заключение

Утилиты GEOM находятся в постоянном развитии, разработчики вовсю добавляют новые возможности и постоянно вносят изменения в страницы руководства man.

Если вы желаете собрать статистику по производительности вашей системы, то используйте gstat(8), так как хорошая скорость работы через gmirror(8) необходима, особенно в случае неисправности одного из дисков.

Этот пост November 14, 2007 at 7:27 pm опубликовал molse в категории FreeBSD. Желающие могут оформить RSS подписку на комменты. Both comments and trackbacks are currently closed.

При выборе решения для организации хранилища самыми важными характеристиками являются скорость, надежность и стоимость. Очень редко все эти параметры характеристики имеются вместе, обычно быстрое и надежное устройство хранения стоит дорого, а при уменьшении стоимости в жертву приносятся скорость работы или надежность. При проектировании моей системы я отранжировал требования по порядку от наиболее желаемых до наименее нужных. В этом случае стоимость оказалась наиболее значащим фактором. Мне нужен был большой объем за разумную цену. Следующая характеристика, скорость, не так важна, так как в основном использование будет осуществляться через стомегабитный коммутируемый Ethernet, и это, скорее всего, и будет узким местом. Возможность распараллелить файловые операции ввода/вывода по нескольким дискам даст более чем достаточную для этой сети скорость. Наконец, требование надежности легко обеспечить. Все данные, помещаемые на это устройство хранения, уже были сброшены на диски CD-R. Это устройство в основном предназначается для онлайнового хранения, облегчающего доступ, так что если диск откажет, я могу его просто заменить, перестроить файловую систему и скопировать данные с CD-R.

В итоге мне нужно нечто, что даст мне максимум дискового пространства за мои деньги. В наши дни стоимость больших дисков IDE невелика. Я нашел место, где продавались IDE-диски Western Digital 30.7gb 5400 RPM примерно за сто тридцать долларов США. Я приобрел три диска, что дало мне около девяноста гигабайт онлайнового хранилища.

Я установил винчестеры в систему, в которой уже был один диск IDE в качестве системного. Идеальным решением было бы иметь для каждого диска IDE собственный IDE-контроллер и кабель, но без дополнительных трат на двойной IDE-контроллер это невозможно. Так что я определил перемычками два диска как ведомые (slave), а один как ведущий (master). Один был подключен к первому IDE-контроллеру как ведомый в паре с системным диском, а оставшиеся два стали парой ведомый/ведущий на втором IDE-контроллере.

До перезагрузки BIOS системы была настроена на автоматическое распознавание подключенных дисков. Более важно то, что при перезагрузке их распознала FreeBSD:

ad0: 19574MB <WDC WD205BA> [39770/16/63] at ata0-master UDMA33 ad1: 29333MB <WDC WD307AA> [59598/16/63] at ata0-slave UDMA33 ad2: 29333MB <WDC WD307AA> [59598/16/63] at ata1-master UDMA33 ad3: 29333MB <WDC WD307AA> [59598/16/63] at ata1-slave UDMA33

На этом этапе, если FreeBSD не распознала диски, проверьте, что вы правильно выставили перемычки. Я слышал от многих о проблемах, возникающих при выставлении перемычек на выбор кабелем (cable select) вместо принудительной настройки ведущий/ведомый (slave/master).

Следующей проблемой был способ их подключения как части файловой системы. Я немного поразбирался с vinum (8) () и ccd (4) . В этой конкретной конфигурации ccd (4) оказался более хорошим выбором, в основном потому что он менее сложен. Меньшее количество элементов указывает на меньшую вероятность сбоя. Возможности vinum показались несколько превышающими мои потребности.

CCD позволяет мне взять несколько идентичных дисков и объединить их в одну логическую файловую систему. Для использования ccd нужно ядро со встроенной поддержкой ccd . Я добавил такую строку в мой файл конфигурации ядра и перестроил ядро:

pseudo-device ccd 4

Для FreeBSD 4.0 и более поздних версий поддержка ccd может быть также подгружена как загружаемый модуль ядра.

Для настройки ccd сначала мне нужно было разметить диски. Вот как я сделал это:

disklabel -r -w ad1 auto disklabel -r -w ad2 auto disklabel -r -w ad3 auto

При этом были созданы метки ad1c, ad2c и ad3c, которые занимали диск полностью.

Следующим шагом является изменение типа метки диска. Для этого я редактировал метку диска:

disklabel -e ad1 disklabel -e ad2 disklabel -e ad3

При этом в редакторе, задаваемом переменной окружения EDITOR , в моем случае это был vi (1) , открывалась текущая метка каждого соответствующего диска. Внутри редактора были видны разделы, подобные следующим:

Мне необходимо было добавить новый раздел "e" для использования драйвером ccd (4) . Как правило, он может быть скопирован с раздела "c", но поле fstype должно быть задано в значение 4.2BSD . После того, как я это сделал, метка моего диска должна выглядеть примерно так:

Теперь, после того, как я разметил все диски, мне нужно построить объединённый ccd -диск. Для этого я использовал утилиту под названием ccdconfig (8) . ccdconfig воспринимает несколько аргументов, первым выступает устройство, которое нужно конфигурировать, в нашем случае это /dev/ccd0c . Файл устройства для ccd0c может ещё не существовать, так что для его создания предварительно выполните такие команды:

cd /dev sh MAKEDEV ccd0

Следующим аргументом, который ожидает ccdconfig , является параметр чередования для файловой системы. Чередование задает размер полосы в дисковых блоках, обычно размером в пятьсот двенадцать байт. Таким образом, чередование в тридцать два будет соответствовать шестнадцати тысячам восьмидесяти четырем байтам.

После чередования следуют флаги для ccdconfig . Если вы хотите включить зеркалирование диска, вы можете задать флаг здесь. В нашей конфигурации я не зеркалирую ccd , так что он остается нулевым.

Последним параметром для ccdconfig являются устройства, помещаемые в массив. Для их объединения я дал такую команду:

ccdconfig ccd0 32 0 /dev/ad1e /dev/ad2e /dev/ad3e

При этом выполняется начальная настройка ccd . Теперь можно создавать новую файловую систему при помощи newfs (8) .

Наконец, если я хочу монтировать ccd , мне нужно сначала его настроить. Я записал мою текущую конфигурацию в файл /etc/ccd.conf при помощи такой команды:

ccdconfig -g > /etc/ccd.conf

При перезагрузке скрипт /etc/rc запускает команду ccdconfig -C , если существует файл /etc/ccd.conf. При это ccd автоматически конфигурируется так, чтобы он мог быть смонтирован.

Если при загрузке вы входите в однопользовательский режим, то перед тем, как выполнять монтирование ccd по команде mount , вам нужно для конфигурации массива запустить следующую команду:

Затем нам нужна запись для ccd в файле /etc/fstab , чтобы он мог быть смонтирован во время загрузки системы.

/dev/ccd0c /media ufs rw 2 2

Мнеджер томов Vinum является драйвером блочного устройства, который реализует виртуальные диски. Он отделяет дисковое оборудование от интерфейса блочного устройства и работает с данными таким образом, что в результате повышается гибкость, производительность и надёжность по сравнению с традиционным взглядом на дисковое хранилище как на кусок дискового пространства. vinum (8) реализует модели RAID-0, RAID-1 и RAID-5, как по отдельности, так и в комбинациях.

Обратитесь к для получения более полной информации о about vinum (8) .

FreeBSD поддерживает также целый ряд аппаратных контроллеров RAID . В этом случае реальная система RAID строится и управляется самим адаптером. При помощи встроенной в адаптер BIOS он самостоятельно управляет большинством операций с диском. Далее следует краткая руководство по настройке с использованием контроллера IDE RAID от Promise. Когда этот адаптер установлен и система стартует, выдаётся запрос на ввод информации. Следуйте экранным указаниям для входа в экран настройки адаптера. Отсюда пользователь должен иметь возможность объединить все подключенные диски. Когда он это сделает, диск или диски будут выглядеть для FreeBSD как один большой накопитель. Другие уровни RAID могут быть настроены аналогичным образом.

Использование программного RAID-1 (gmirror) в FreeBSD

Несмотря на победное шествие ZFS по планете, статья еще не потеряла своей актуальности.

Вы когда-нибудь нуждались в программном решении RAID на сервере начального уровня? Возможно, вы хотели бы использовать избыточность, предоставляемую зеркалированием, на своей рабочей станции не тратя денег на RAID-контроллер? А может, у вас был уже опыт настройки программного RAID на UNIX-системах и вы потерпели неудачу?

Мне кажется, что было бы более разумно настраивать RAID во время установки системы. Так же, хотелось бы разработать методику, на которую не влиял бы человеческий фактор, в виде ошибочных расчетов. После нескольких проб и ошибок, была разработана данная методика, которая была мною проверена на различных системах и хорошо себя зарекомедовала. Так же, я получила ценные данные от Павла Якуба Давидека(Pawel Jakub Dawidek), автора gmirror, в добавок раскрывшего мне некоторые недокументированные возможности gmirror.

Некоторая подготовка GEOM

gstripe(8) обеспечивает чередование или RAID 0
gmirror(8) обеспечиват зеркалирование/дуплекс или RAID 1
graid3(8) обеспечивает чередование с контролем четности или RAID 3

Начальная g указывает на то, что эти утилиты пользуются возможностями, которые предоставляет GEOM.

Обратите внимание, что если вы плохо знакомы с RAID, то Webopedia дает хорошее определение каждого уровня RAID.

man 4 geom описывает используемые термины, которые включают в себя:

Конфигурирование зеркалирования/дуплекса

Загрузка в режиме зеркалирования/дуплекса

Если вы внимательно смотрите на экран во время начальной загрузки, то должны увидеть следущие строки:

GEOM_MIRROR: Device gm0 created (id=2125638583).
GEOM_MIRROR: Device gm0: provider ad0 detected.
GEOM_MIRROR: Device gm0: provider ad0 activated.
GEOM_MIRROR: Device gm0: provider mirror/gm0 launched.
GEOM_MIRROR: Device gm0 already configured.
Mounting root from ufs:/dev/mirror/gm0s1a

После монтирования /dev/mirror/gm0s1a система продолжит загрузку. Если вы допустили опечатку в /etc/fstab, то загрузка остановится и система будет ждать от вас каких-либо действий. Я забыла вставить mirror, когда редактировала /etc/fstab:

Mounting root from ufs:/dev/gm0s1a
setrootbyname failed
ffs_mountroot: can't find rootvp
Root mount failed: 6

Manual root filesystem specification:
: Mount using filesystem
e.g. ufs:da0s1a
? List valid disk boot devices
Abort manual input

К счастью, все не так страшно, как выглядит. Сперва просмотрим доступные дисковые устройства:

mountroot> ?

List of GEOM managed disk devices:
mirror/gm0s1f mirror/gm0s1e mirror/gm0s1d mirror/gm0s1c mirror/gm0s1b
mirror/gm0s1a mirror/gm0s1 ad2s1 mirror/gm0 ad0s1 ad2 acd0 ad0 fd0

Если вы укажете правильное расположение корневой файловой системы, то система продолжит загружаться:

mountroot> ufs:/dev/mirror/gm0s1a
Mounting root from /dev/mirror/gm0s1a

После входа в систему, исправьте /etc/fstab и перезагрузитесь, после чего снова войдите в систему и удостоверьтесь, что все файловые системы примонтированы правильно:

% df -h
Filesystem Size Used Avail Capacity Mounted on
/dev/mirror/gm0s1a 248M 35M 193M 15% /
devfs 1.0K 1.0K 0B 100% /dev
/dev/mirror/gm0s1e 248M 12K 228M 0% /tmp
/dev/mirror/gm0s1f 7.3G 99M 6.7G 1% /usr
/dev/mirror/gm0s1d 248M 196K 228M 0% /var

Утилита df не покажет состояние раздела подкачки, воспользуемся другой:

% swapinfo
Device 1K-blocks Used Avail Capacity
/dev/mirror/gm0s1b 629544 0 629544 0%

Синхронизация дисков

В финале действа, перезагрузите систему.

Заключение

Уважайте труд автора, сохраняйте копирайты.
Реклама на сайте висит не просто так и если статья Вам понравилась, с ее помощью Вы можете отблагодарить автора за проделанную работу. Спасибо!

1. Подключаем два желательно одинаковых жестких диска и загружаемся с установочного диска с FreeBSD 9.0. Жмем "Shell". Смотрим как определились жесткие диски:

2. Изменяем переменную ядра kern.geom.debugflags:

Запустим GEOM, то есть загрузим модуль /boot/kernel/geom_mirror.ko:

3. Создаем зеркало. Сохраняем метаданные на первом диске da0:

4. Теперь "вставляем" в зеркало второй диск:

На этом этапе пока всё. Выходим из Shell:

5. Устанавливаем систему в обычном порядке, когда дело дойдет до разметки диска, делаем так:
Удаляем всю созданную автоматически разметку, GPT тоже:

Создаем все сами, руками. Это не так трудно, как кажется на самом деле.
Переводим курсор на mirror/gm0, далее "С" или create, GPT. Потом ещё раз create на mirror/gm0. Я размечу всё место на диске под основной раздел, оставлю пару гигов на файл подкачки:

Далее добавим swap файл, равный 2xразмеру оперативной памяти:

Имеем:

6. Доустанавливаем систему, в сомом конце нас спросят хотим ли мы внести последние изменения системных файлов, соглашаемся.
Добавляем автоматическую загрузку модуля GEOM в loader.conf:

7. Проверяем файл /etc/fstab:

Все разделы должны быть вида /dev/mirror/gm0p2

8. Перезагружаемся. После загрузки радуемся жизни с raid 1.

Запись опубликована автором MishLen в рубрике Система (FreeBSD) с метками gmirror, raid1. Добавьте в закладки постоянную ссылку.

Создание Raid 1 (gmirror, зеркало) на FreeBSD 9.0 : 4 комментария

Хорошая статья. Я во фряхе новичок. Подскажите, пожалуйста, вот в пункте 6 вы делаете
echo 'geom_mirror_load="YES"' > /boot/loader.conf
У меня такого файла нет. Есть /boot/default/loader.conf
Нужно пихать параметры загрузки именно в /boot/loader.conf, или же в данном случае у меня /boot/default/loader.conf?

Самая краткая и вменяемая хаутушка, которую я встретил, по созданию зеркала при установке фряхи если не нужно оптимизировать разбиение диска с "advanced format" (выравнивание начала партиций).

Итак приступим, для начала добавим в файл /boot/loader.conf строчку

После чего создаем raid1 добавив туда первый из 2ух дисков

gmirror label -v -b round-robin gm0 /dev/ad4

ВАЖНО: стоит отметить если вы собираете RAID1 из диска на котором стоит система, то при попытке выполнить команду вылезет ошибка:

так как FreeBSD не позволит делать вам массив из системного диска наживую, чтобы решить эту проблему необходимо выполнить команду:

Тем самым вы снимите ограничение, не беспокойтесь все встанет на место после перезагрузки.

Итак, выполняем команду добавления первого диска повторно, так как в прошлый раз у нас она не получилась (если получилась то соответственно не выполняем) и видим примерно следующий вывод:

Metadata value stored on /dev/ad4.
Done.

Значит первая часть работы успешно завершена

Можно проверить это командой

Было:

/dev/ad4s1b none swap sw 0 0
/dev/ad4s1a / ufs rw 1 1
/dev/ad4s1e /tmp ufs rw 2 2
/dev/ad4s1f /usr ufs rw 2 2
/dev/ad4s1d /var ufs rw 2 2

Стало:

/dev/mirror/gm0s1b none swap sw 0 0
/dev/mirror/gm0s1a / ufs rw 1 1
/dev/mirror/gm0s1e /tmp ufs rw 2 2
/dev/mirror/gm0s1f /usr ufs rw 2 2
/dev/mirror/gm0s1d /var ufs rw 2 2

Хочется отметить если системный диск не участвует в массиве, то не нужно производить манипуляций с заменой, а надо просто примонтировать наш раздел, например добавив такую строчку в /etc/fstab

/dev/mirror/gm0s1d /mnt/RAID ufs rw 2 2

где, /mnt/RAID созданная нами заранее папка

Теперь осталось только добавить второй диск в зеркало, для этого выполняем команду

Если размер дисков большой, то процесс синхронизации может занять длительное время, посмотреть как там все проходит можно все той же командой

И напоследок хочется привести список действий которые необходимо проделать если все таки один из дисков вышел из строя.

Для начала выключаем компьютер и вытаскиваем вышедший из строя диск, затем включаем компьютер и

1-ой командой мы говорим нашему массиву забыть диск которого нет в массиве сейчас:

Затем выключаем компьютер, вставляем новый диск и 2-ой командой добавляем его в массив:

И 3-я часть данной статьи как же мониторить состояние массива? Добавляем в cron (/etc/crontab) следующую строчку:

Читайте также:

Как создать raid в freebsd

Некоторая подготовка GEOM

Конфигурирование зеркалирования/дуплекса

Загрузка в режиме зеркалирования/дуплекса

Синхронизация дисков

Заключение

Использование программного RAID-1 (gmirror) в FreeBSD

Некоторая подготовка GEOM

Конфигурирование зеркалирования/дуплекса

Загрузка в режиме зеркалирования/дуплекса

Синхронизация дисков

Заключение

Похожие записи:

Создание Raid 1 (gmirror, зеркало) на FreeBSD 9.0 : 4 комментария