Настройка дисковой полки hp

Обновлено: 07.07.2024

Алгоритм подключения системы хранения данных к хосту достаточно универсален. Безусловно, существуют нюансы настройки, которые зависят от конкретного оборудования и топологии вашей сети.

Создание SAN является сложной задачей. Если это ваш первый опыт, обратитесь к специалистам ВИСТЛАН за консультацией, помощью в проектировании системы и подборе оборудования

Подключение СХД к хосту делится на два этапа:

Физическое соединение.

Настройка.

Перед началом внимательно ознакомьтесь с документацией производителя на полку. Она подробно описывает все действия. Пример документации от Oracle .

Техническая информация

SAN состоит из нескольких HDD и контроллеров. Для равномерного распределения нагрузки и обеспечения надёжности стараются использовать два HBA (Host Bus Adapter), несколько путей ввода-вывода, как минимум два интерфейса.

Главным правилом подключения СХД к хосту является использование как минимум двух связей и путей для каждого устройства.

Свичи обеспечивают для серверов доступ только к предназначенным им ресурсам. Для этого в SAN каждому интерфейсу и каждому LUN-у присваивается World Wide Name (WWN) — подобие MAC-адреса.

LUN — Logical UNit — с точки зрения контроллера — это аналог раздела на жёстком диске. Сервер видит их как физические диски. Можно подключить все хосты к одному диску или раздать LUN-ы по серверам.

Распределение выполняется в Disk Manager конкретного сервера или с помощью утилит (LAN Mapping, SAN Mapping и т.п) хосту принудительно запрещается видеть LUN.

Не вешайте все LUN-ы на один контроллер. Разделите особо нагруженные LUN-ы по разным.

При создании SAN можно использовать разные типы HDD. Помедленнее и подешевле, типа SAS или SATA, — для ОС сервера и файловых ресурсов; FC — для скоростных приложений и баз данных.

Алгоритм подключения

В сервер установите HBA-контроллер.

Подключите СХД с помощью кабелей соответствующих интерфейсам, установленным на дисковой хранилище (FC, SAS, SCSI) по вашей схеме.

Проведите настройку сети, правильно установите типы используемых портов для оптической сети.

Скачайте с сайта производителя ПО. Однако, оно может идти в комплекте, но это не обязательно.

Установите ПО. Пройдите регистрацию, если требуется.

Включите HBA хоста и дисковую полку в одну подсеть на одном физическом коммутаторе.

Запустите утилиту сканирования SAN для определения топологии. Она покажет все устройства и их номера.

Зарегистрируйте хост на полке. Это можно сделать с помощью утилиты или вручную через веб-интерфейс полки. Автоматически — корректней.

Введите в браузере IP-адрес хоста и сделайте привязку полки. При первом подключении может понадобиться создать пароль админа.

Зайдите в систему управления дисками на хосте, убедитесь, что подключенные диски видны. Они выглядят там как обычные SCSI.

Перейдите по IP-адресу СХД в браузере. Проверьте наличие серверов, регистрация которых уже выполнена.

Найдите вкладку с инициаторами, связывающими хосты с блоками СХД. Проверьте IP-адреса. Если нужно, перенастройте их вручную.

Свяжите LUN-ы и хосты. Действия типа: Create -> Connect LUNs -> Connect Hosts.

Посмотрите наличие отметки около HBA, сигнализирующей о корректности подключения.

На этом настройка полки закончена.

Нарежьте диски на LUN-ы. Их можно сделать много. Оставьте около 1 Гб свободного места

Переведите диски в режим онлайн. Буквы не присваивайте.

Отформатируйте диски в нужный формат, например, NTFS.

Установите драйверы HBA (FC, SAS или SCSI).

Подключение завершено. Можно управлять системой с помощью специального софта или через веб-интерфейс.

Рекомендации

Если СХД только создаётся, имеет смысл использовать оборудование одного производителя, чтобы избежать проблем с совместимостью устройств.

Во избежание всяких неприятных ситуаций лучше сразу обратиться к системному интегратору, например, к нам.

Это можно не делать, если у вас в штате есть несколько опытных и толковых администраторов, у которых много свободного времени. Хотя, по деньгам вы здесь вряд ли выиграете, так как их работа оплачивается, а также нужно будет приобретать нужные комплектующие и пытаться их «подружить».

Дисковая полка конструктивно состоит из жёстких дисков и источника бесперебойного питания. Его основная функция — не питать систему в случае отключения электричества, а предоставление возможности СХД корректно завершить все операции ввода-вывода при выключении полки. Поэтому, для защиты сторейджа по питанию устанавливайте ИБП.

По FC можно подключиться к коммутатору и тем самым расширить количество используемых устройств. На SAS нельзя повесить серверов больше, чем есть портов на массиве.

Покупайте полку сразу с дисками.

Не подключайте несколько хостов к одному LUN-у, если у вас не кластер. Такое соединение создает несогласованность записи, что приведёт к повреждению данных.

Сервис — очень важная вещь в СХД. Так как стоимость и масштаб потерь велики, не скупитесь, заключите договор с интегратором на обслуживание. В результате вы сэкономите время, нервы и, как ни странно, деньги.

От того, как сконфигурированы системы хранения данных, в ряде случаев зависят их отказоустойчивость и производительность. Администраторам популярных систем хранения данных HP StorageWorks MSA2000sa важно знать ряд тонкостей создания консолидированной среды хранения на базе этих дисковых массивов.

Дисковые массивы MSA2000sa в корпусе 2U предназначе­ны для формирования консолиди­рованной среды хранения данных малых и средних предприятий, а также для организации дисковых хранилищ второго или третьего уровня в удаленных офисах и фи­лиалах крупных компаний. Для си­стем начального и среднего уровня можно приобрести систему в базо­вой (минимальной) конфигурации с одним контроллером, а затем мо­дернизировать ее, дооснастив вто­рым контроллером, либо сразу ку­пить решение с двумя контролле­рами. Максимальная емкость си­стемы составляет 5,4 Тбайт при использовании дисков SAS или 12 Тбайт при оснащении дисками SATA в основном корпусе с 12 отсе­ками. Если же подключить три до­полнительные дисковые полки по 12 отсеков в каждой, то емкость систе­мы можно увеличить до 21,6 Тбайт в случае применения дисков SAS и до 48 Тбайт для SATA. К одной системе MSA2000sa можно подключить до четырех хост-серверов напрямую по SAS-интерфейсу.

Сколько надо контроллеров?

Для обеспечения высокой доступ­ности данных и производительно­сти предпочтительна конфигурация с двумя контроллерами, однако в ряде случаев вполне оправданно применение одного.

Конфигурация со сдвоенным контроллером обеспечивает более высокую доступность приложений, поскольку при отказе одного кон­троллера (вероятность такого собы­тия исключительно мала) его функ­ции - управление массивами RAID и кэш-памятью дисковой подсисте­мы, рестарт сервисов защиты дан­ных и назначение хост-портов — «подхватываются» резервным кон­троллером, а вышедший из строя узел можно заменить без отключе­ния устройства хранения данных. Дополнительное преимущество данной конфигурации - возмож­ность поднять производительность за счет распределения нагрузки по обработке операций ввода/вывода.

В конфигурации с двумя кон­троллерами применяется зеркалирование кэш-памяти. Благода­ря автоматической передаче в ре­жиме <<вещания>> (broadcast) запи­сываемых данных на резервный кэш, снижаются нагрузки и задерж­ки для кэш-памяти основного кон­троллера. При отключении пита­ния кэшируемые данные немедлен­но записываются на флэш-память обоих контроллеров, что исклю­чает риск потери данных. Реализа­ция записи в режиме «вещания» позволяет лучше защитить данные, не жертвуя производительностью и временем отклика.

Конфигурация с одним кон­троллером потенциально может стать единственной точкой отка­за (Single-Point-of-Failure, SPOF) -один контроллер способен обслу­живать до двух хост-серверов (при прямом подключении) со скоро­стью доступа 3 Гбит/с, и при его от­казе хост-сервер теряет доступ к системе хранения.

Конечно, один контроллер де­шевле двух, и такая конфигурация оправданна для решений, где не тре­буется высокая степень доступности данных и допустимы кратковремен­ные простои для восстановления доступа. Подобные конфигурации применяются и при обеспечении избыточности на уровне серверов, например в двухузловых кластерах, где каждый сервер подключается к собственному контроллеру и выход из строя последнего ведет к отказу соответствующего узла. Имеется еще вариант построения системы хране­ния высокой доступности с приме­нением менеджера томов, с его по­мощью поддерживается зеркальная копия данных на двух независимых системах хранения, каждая из кото­рых имеет по одному контроллеру. При выходе из строя данные восста­навливаются по резервной копии.

Прямое подключение

В схеме Direct Attach Storage (DAS) система хранения данных напря­мую подключается к хост-серверу. Благодаря отсутствию коммутато­ров (storage switch) такое решение экономично, как и в решении с ис­пользованием массива MSA2000fc (fibre channel), допускается коллек­тивное использование системы хра­нения, но его возможности будут ограничены количеством внешних портов контроллеров. Существен­ное преимущество данной систе­мы хранения - поддержка при непо­средственном подключении четы­рех хост-серверов по одному порту или двух хост-серверов по двум пор­там без применения коммутатора.

При реализации решения с DAS-подключением рекомендует­ся применять схему подключения хост-серверов по двум портам.

Вообще производительность дисковой подсистемы напрямую зависит от числа дисков в ней задействованных. Особенно актуально для 5-го/6-го рейдов. Чем больше дисков, тем шустрее. С этой точки зрения логично собирать все диски в одну группу (опять спейр диском только одним можно будет обойтись).

С другой стороны, если у СХДшки не один, а два контроллер, то для балансировки нагрузки можно создавать две группы и луны с одной привязывать к первому контроллеру, а луны с другой - ко второму.

Зачем может понадобиться создавать более двух групп, затрудняюсь придумать. :-)

Геннадий, спасибо Вам еще раз! Хочу уточнить один момент по поводу Вашего совета по конфигурации "медленной" полки.
Вы пишите, что RAID10 излишен, смысла тратить половину дисков нет. С аргументом двойных дисковых затрат я согласен. Но насколько я понимаю, RAID5 наиболее хорош в операциях ЧТЕНИЯ. А предназначение "медленной" полки - создание резервных копий и реплик, т.е. в большинстве своем - это операции ЗАПИСИ. Как я понимаю, здесь передо мной встает дилемма: либо тратить "половину дисков" на повышение производительности (т.е. жертвовать объемом в пользу производительности) либо (в случае RAID5) иметь больший объем дискового простанства, но проигрывать по скорости записи.
Для "медленной" полки в моих условиях (мне не жалко места на дисках, по крайней мере пока) лучше RAID10.
Но Вы навели меня на идею о том, что может быть "быструю" полку следует строить по схеме RAID5 или 6.
Интересно, чья производительность на чтение будет выше RAID10 из 10 дисков или RAID5 из 11 дисков? Может подскажете, толковую Benchmark-программу, которой можно будет это измерить по факту?
Хотел бы услышать Ваше мнение по поводу создания отдельной дисковой группы для целей загрузки хостов ESX (допустим, 2 диска в RAID 1 и один hot spare диск). Есть ли в этом смысл?
Теперь по поводу привязки друх дисковых групп к соответствующим двум контроллерам СХД. Ваше предложение мне нравится, но возникает вопрос. Если один из контроллеров "умирает", то диски привязанной к нему группы автоматически "отвяжутся" от него и "привяжутся" к оставшемуся работоспособному контроллеру? Rumata писал(а): Хочу уточнить один момент по поводу Вашего совета по конфигурации "медленной" полки. Может имеет смысл поговорить о нашем техсаппорте? Мы приедем, настроим, научим,

HP MSA 2040 Disk Enclosure

Привет, сегодня проводим эксперимент. Мы отключим полку HPE MSA 2040 ES LFF Disk Enclosure от СХД HP MSA 2040 и подключим её к серверу HPE Proliant DL360 Gen9. Эксперимент должен ответить на вопросы:

  1. Что нужно для такого подключения?
  2. Увидит ли контроллер сервера диски?
  3. Увидит ли контроллер сервера созданные на HPE MSA массивы RAID?

У нас есть

Имеется отдельно стоящий сервер HPE Proliant DL360 Gen9.

Имеется СХД HPE MSA 2040.

К СХД подключена полка HPE MSA 2040 ES LFF Disk Enclosure.

На полке 12 дисков и из них создан RAID5 массив.

hp

Нужно для подключения полки к серверу

Для подключения полки к серверу понадобится дополнительное оборудование:

  • PCI RAID контроллер. У меня есть в шкафу HPE H241 Smart HBA. HPE H241 Smart HBA
  • Два кабеля Mini SAS HD to Mini SAS. И снова поможет шкаф: 716191-B21 - кабель HP 2.0m External Mini SAS HD to Mini SAS

Сборка

В сервер HPE Proliant DL360 Gen9 вставляем контроллер HPE H241 Smart HBA:

hp

Отключаем HPE MSA 2040 ES LFF Disk Enclosure от СХД HP MSA 2040.

hp

hp

Берём новое кабло:

hp

Подключаем одним концом к HPE MSA 2040 ES LFF Disk Enclosure в порт IN (слева):

hpe

Второй конец втыкаем в сервер HPE Proliant DL360 Gen9 в контроллер HPE H241 Smart HBA:

hp

Загружаем сервер и входим в SSA - Smart Storage Administrator. Если контроллер HPE H241 Smart HBA находится в режиме HBA - переключаем его в RAID Mode и перезагружаем сервер.

Снова входим в SSA и видим такую картину:

hp

Логических устройств - 0. Это говорит о том, что контроллер не видит массивы RAID, созданные на СХД HPE MSA 2040.

Однако, физических устройств - 12. Значит, сами диски контроллер прекрасно видит и данную полку вполне можно использовать как дополнение к серверу.

img-shd.jpg

Давайте попробуем определить, что за устройство на картинке.
Правильно - по “морде” определить невозможно. Нужно смотреть на тыльную часть. И варианты могут быть разные:

img-2-shd.jpg

А. Сервер

shd.jpg

B. Система хранения данных (СХД)


C. Дисковая полка SAS-1 c двумя контроллерами JBOD (HP MSA2000sa AJ750A)

СХД - система хранения данных - это не полка

СХД (система хранения данных) намного сложнее полки, они дороже и имеют значительно больше нюансов.

Отличие СХД от полки это наличие “Мозга”. Контроллеры СХД это мини-серверы, со своими процессорами, памятью и операционной системой. СХД собирают из дисков RAID массивы, и передают данные по протоколам высокого уровня (iSCSI, NFS), контролируют целостность данных, позволяют создавать снапшоты и многое другое. СХД нужна если наша задача построить отказоустойчивый кластер

Однако, в случае если мы просто хотим добавить дисков в сервер, наличие “мозга” создаёт сложности: Не все СХД понимают диски объемом более 2Tb. Редкие СХД принимают от независимых производителей. Несмотря на то, что СХД полезное устройство - в этой статье мы не будем рассматривать использование СХД. Сегодня давайте разберёмся с полками.

Полка - это не СХД

Полка - достаточно простое устройство. Корпус, два блока питания, бэкплэйн и JBOD* контроллеры. Задача полки, без какой либо обработки, передать данные из накопителя в адаптер (карту RAID или HBA). Любая полка поддерживает диски любого объёма и любого производителя. Всё решает карточка в сервере. Контроллер полки - это набор микросхем с жесткой логикой.

shd3.jpg

Так выглядит подключение дисков внутри сервера

shd4.jpg

Так подключение сервер + полка.

С точки зрения схемотехники (и операционной системы), диски, установленные в полку, ничем не отличаются от дисков установленных в сервер**.
Полка имеет отдельный корпус, отдельные блоки питания, но в обоих случаях подключение производиться через RAID карточку установленную в сервер -, отличие лишь в том, что в случае с полкой, кабель подключается не по внутреннему а по внешнему разъёму.

*JBOD = Just A Bunch of Disks ( просто пачка дисков )
** Если быть совсем точным, полку можно сравнивать с сервером в котором установлен SAS экспандер - это серверы в которых количество дисков превышает 8. Для операционной системы SAS экспандер не заметен.

shd5.jpg

Вот широко распространённый RAID контроллер LSI9260-8i
8i означает 8 внутренних портов SAS/SATA

А вот его брат LSI9280-4i4e

shd43.jpg


4 внутренних и 4 внешних порта

shd7.jpg

Как называется вот этот контроллер, я думаю вы уже догадались )

Правильно - это LSI9280-8e

Все эти контроллеры собраны на одном и том же чипе LSI2108. Они обеспечивают работу по протоколам SAS/SATA со скоростью 6Gb/s и “понимают” диски объёмом более 2Tb. Попутно замечу, что на этом чипе собраны RAID контроллеры в серверах Supermicro, Intel, IBM, DELL, Fujitsu и CISCO. Многие из производителей даже не утруждают себя разработкой собственной печатной платы - меняют только прошивку. Но впрочем RAID и HBA - тема для отдельной статьи.

Вывод: если не хватает места для дисков - можно просто подключить к серверу полку. Новый сервер покупать не обязательно

Еще несколько нюансов

Полки бывают не только SAS, но других типов, например FC (скорее всего они вам не нужны).

Полки могут быть 3, 6 и 12Gb/s. Не все знают, что в одном кабеле mini-SAS четыре канала. Это значит, что для вычисления скорости обмена полка-контроллер показатель 3,6,12 нужно умножить на 4, а в случае если полка и контроллер соединяются двумя кабелями, на 8. Для примера 3-х гигабитная полка сможет отдавать в сервер 3x4 = 12 Гигабит! Что очень неплохо, особенно, если вы устанавливаете шпиндельные накопители. Для работы диска с сервером важна не скорость передачи данных а количество операций ввода-вывода IOPS. Об этом читайте в пункте 7.

Не важно Supermicro, IBM, DELL или HP. Любая SAS полка будет работать с любым SAS контроллером. Брэнд имеет значение только когда вы подключаете полку к СХД.


Полки можно собирать в гирлянду - подключая к одному контроллеру сразу несколько полок.***

*** Если вы используете SATA диски, длина подключения не должна превышать 1М.


При использовании SAS дисков (или SATA дисков с интерпозерами) можно подключать полку по двум путям, через два контроллера. Это позволяет избежать отказа в случае выхода их строя одного из контроллеров.


Полки можно добавлять по мере роста количества данных, подключая их двумя путями
“в гирлянду” вот так:


SFF* полки ( обычно бывают 2U на 24-25 дисков)

Для чего нужны SFF полки?

Типичный сервер редко перекидывает большие блоки данных - в основном он производит хаотичные запросы чтения или записи маленьких блоков из совершенно разных мест массива. Скорость по этому показателю измеряется не в Гигабитах в секунду, а в количестве операций ввода-вывода (IOPS). И именно IOPS, а не трансфер основной параметр которому следует уделять внимание. Пользователи ПК сравнивают диски по показателям 3Gb/s, 6Gb/s, 12Gb/s, но зачастую, скорость потока диск - сервер это не Гигабиты, и даже не Мегабиты, а Килобиты! Скорости 3Gb/s, которую обеспечивают даже устаревшие интерфейсы в большинстве случаев достаточно. Сильно ошибаются те, кто думают, что улучшат производительность, сменив диски 3Gb/s на 12Gb/s. Если не изменился форм-фактор и обороты диска - скорость IOPS не измениться.

На увеличение IOPS положительно влияют: увеличение оборотов, уменьшение физического размера, увеличение числа дисков в массиве.

LFF диски, (особенно низкооборотистые 7200RPM) не предназначены на работу в режиме случайного доступа - их назначение хранение ColdData (например бэкапов)

*SFF Small Form Factor - это диски 2,5” Обычно это высоко-оборотистые 10-15К SAS диски объёмом 300-1200GB. Не стоит путать их с ноутбучными дисками.
LFF Large Form Factor - это диски 3,5” Обычно низко-оборотистые 7200 диски, объёмом 2TB и более.

И наконец, если у вас уже есть СХД, добавив полку вы можете увеличить не только объём, но и существенно повысить скорость работы. Ведь показатель IOPS напрямую зависит от количества дисков.

У нас имеются полки для наиболее распространённых СХД производства NetAPP, HP, Dell, IBM.

Читайте также: