Windows fibre channel настройка

Обновлено: 05.07.2024

При хранении критически важных данных обеспечение высокой доступности является одной из основных задач. Для высокодоступных решений необходимо обеспечить избыточность на разных уровнях: на уровне дисковой подсистемы, на уровне транспорта, на уровне сервера или системы хранения. Одним из механизмов, предназначенных для обеспечения высокой доступности на транспортном уровне, является технология многопутевого ввода-вывода (Multi-Path Input-Output, MPIO).

Как правило, каждый приличный сервер имеет несколько сетевых интерфейсов, да и системы хранения обычно оснащаются дополнительными адаптерами. Все это дает серверу возможность использовать одновременно несколько путей для подключения к устройству хранения, обеспечив избыточность на транспортном уровне и устранив единую точку сбоя, которой является подключение к хранилищу. Кроме того, подобный подход может обеспечить еще и распределение нагрузки между путями, для повышения производительности.

Однако недостаточно просто подключить к серверу один LUN по нескольким путям. Операционная система не сможет понять, что она видит одно и то же устройство и подключит его дважды. Это чревато тем, что данные на диске будут перезаписаны или повреждены.

Технология MPIO как раз и предназначена для того, чтобы система видела каждый из презентованных ей дисков в единственном экземпляре. При наличии нескольких путей между сервером и устройством хранения MPIO обеспечивает маршрутизацию операций ввода\вывода по этим путям и перенаправление запросов в случае сбоя одного из путей. MPIO в Windows Server 2012 позволяет операционной системе определять и использовать до 32 путей между сервером и устройством хранения.

MPIO не зависит от протокола и может использоваться с интерфейсами Fibre Channel, Internet SCSI (iSCSI) и Serial Attached SCSI (SAS). В Windows Server MPIO состоит из двух элементов: компонента операционной системы под названием Multipath I/O и специального программного модуля Device-Specific Module (DSM). Модуль DSM поставляется производителем СХД и обеспечивает работу Microsoft MPIO с данной конкретной моделью оборудования. Кроме того, в Windows Server 2012 есть встроенный DSM, который также можно использовать с различными СХД.

Примечание. Для работы с Microsoft DSM система хранения должна поддерживать SCSI Primary Commands-3 (SPC-3).

В предыдущей статье была описана настройка хранилища iSCSI на базе Windows Server 2012. Продолжая эту тему, я опишу настройку MPIO для обеспечения отказоустойчивости при подключении по iSCSI. В качестве хранилища выступает сервер SRV2 c установленной ролью iSCSI Target, в качестве клиента сервер SRV3. На каждом сервере несколько сетевых интерфейсов, подключенных к разным свичам для обеспечения большей надежности.

Все настройки будут производиться на клиенте, поэтому подключаемся к SRV3 и приступаем.

Установка компонента Multipath I/O

MPIO в Windows Server 2012 является дополнительным компонентом (Feature) и по умолчанию неактивен. Установить его можно из оснастки Server Manager, запустив мастер добавления ролей и компонентов и выбрав компонент Multipath I/O.

Также для включения MPIO мы можем воспользоваться PowerShell. Сначала проверяем состояние компонента:

Get-WindowsOptionalFeature -Online -FeatureName MultiPathIO

И если он неактивен (disabled), устанавливаем его:

Enable-WindowsOptionalFeature -Online -FeatureName MultiPathIO

Включение MPIO для iSCSI

Сама по себе установка компонента еще не означает, что система определит диски правильно. Поэтому следующим шагом является включение MPIO для iSCSI, для чего нам понадобится оснастка MPIO. Для ее запуска в Server Manager открываем меню Tools и выбираем пункт MPIO, либо нажимаем Win+R и вводим команду mpiocpl.exe.

Для включения поддержки MPIO для устройств iSCSI переходим на вкладку «Discover Multi-Paths», отмечаем чекбокс «Add support for iSCSI devices» и жмем кнопку Add.

После чего перезагружаем сервер.

Настройка MPIO для iSCSI

Теперь, когда MPIO включен и доступен для использования, приступим к подключению iSCSI устройств. Открываем оснастку iSCSI Initiator, переходим на вкладку «Discovery», жмем кнопку «Discover Portal» и вводим один из IP-адресов (любой) сервера SRV2, на котором запущен iSCSI Target.

Переходим на вкладку Targets, выбираем наш таргет и жмем «Properties» для перехода к его свойствам.

В свойствах откроем вкладку «Portal Groups», на которой отображены все доступные пути до выбраного таргета. Выберем два из них.

Теперь переходим на вкладку «Sessions» и жмем на кнопку «Add session».

Отмечаем чекбокс «Enable multi-path» и жмем «Advanced» для перехода к дополнительным настройкам.

Теперь надо сконфигурировать диск iSCSI для использования MPIO. Возвращаемся на вкладку «Sessions», выбираем обе сессии и жмем кнопку «Devices».

Здесь нам надо настроить политику использования путей. Выбирать можно из следующих вариантов:

Кроме того, выбрав путь и кликнув на «Details» можно посмотреть подробности этого подключения.

Настройка MPIO с помощью PowerShell

Управлять MPIO можно и с помощью PowerShell, где для этого есть специальный модуль. Выведем все командлеты этого модуля командой:

Get-Command -Module MPIO

Так например можно включить MPIO для iSCSI:

Enable-MSDSMAutomaticClaim -BusType iSCSI

Так настроить политику Fail Over Only :

Set-MSDSMGlobalDefaultLoadBalancePolicy -Policy FOO

А вот так посмотреть все доступные для MPIO устройства iSCSI:

Get-MPIOAvailableHW -BusType iSCSI

Также стоит упомянуть о дополнительных параметрах MPIO, доступных из консоли PowerShell. Вывести их можно командой Get-MPIOSetting. Это настройки таймера, которые отвечают за таймауты при переключении:

В большинстве случаев эти параметры можно оставить без изменения, однако в некоторых ситуациях для получения оптимальной производительности может потребоваться их изменить. К примеру, если используется отказоустойчивый кластер и балансировка нагрузки по нескольким путям, то уменьшение таймаута может ускорить переключение между узлами. И наоборот, для одиночного сервера некоторые из значений можно увеличить, для обеспечения большей надежности.

Для изменения этих параметров воспользуемся командой Set-MPIOSetting . Для примера изменим таймаут переключения диска:

Set-MPIOSetting -NewDiskTimeout 30

Напомню, что при изменении параметров MPIO может потребоваться перезагрузка сервера.

Примечание. Также сконфигурировать MPIO можно c помощью утилиты командной строки mpclaim.exe. Для просмотра ее возможностей наберите в командной строке mpclaim /?.

Отработка отказа

После завершения настройки необходимо протестировать получившуюся конфигурацию. Для этого запускаем копирование на общий диск, а затем отключаем один сетевой интерфейс, обеспечивавший активный путь. Копирование приостанавливается, скорость падает до нуля

Но по истечении таймаута процесс возобновляется и успешно завершается.

А если теперь посмотреть в настройки устройства, то мы увидим, что переключение произошло и запасной путь стал активным.

Таким образом с помощью MPIO мы настроили отказоустойчивое подключение к хранилищу iSCSI.

В завершение напомню, что в данной статье приведен вариант настройки MPIO с использованием встроенного модуля Microsoft DSM. При использовании системы хранения других производителей рекомендуется использовать DSM, поставляемое с этим оборудованием, соответственно процедура настройки будет отличаться.

Поддержка этой версии Virtual Machine Manager (VMM) прекращена. Рекомендуем перейти на VMM 2019.

В этой статье описывается настройка виртуального адаптера Fibre Channel Hyper-V в структуре хранилища System Center Virtual Machine Manager (VMM).

Виртуальный адаптер Fibre Channel позволяет виртуальным машинам Hyper-V напрямую подключаться к хранилищу на основе Fibre Channel. Hyper-V предоставляет порты Fibre Channel в операционных системах на виртуальных машинах, что позволяет виртуализировать приложения и рабочие нагрузки, которые имеют зависимости от хранилища Fibre Channel. Кроме того, можно кластеризовать операционные системы на виртуальных машинах по Fibre Channel.

Перед началом работы

• VMM поддерживает следующие развертывания виртуальных адаптеров Fibre Channel.
  • Один массив хранения данных, подключенный к одной структуре (состоящей из одного коммутатора или нескольких), подключенной к одной виртуальной сети хранения данных (vSAN). Виртуальная сеть хранения данных — это именованная группа портов физических адаптеров шины Fibre Channel в узле, к которому подключается виртуальная машина для доступа к запоминающим устройствам Fibre Channel.
  • Один массив хранения данных, подключенный к нескольким структурам (состоящим из одного или нескольких коммутаторов), подключенных к одной виртуальной сети хранения данных.
  • Несколько массивов хранения данных, подключенных к одной структуре (состоящей из одного или нескольких коммутаторов), подключенной к одной виртуальной сети хранения данных.
  • Несколько массивов хранения данных, подключенных к нескольким структурам (состоящим из одного или нескольких коммутаторов), подключенных к нескольким виртуальным сетям хранения данных. Такая конфигурация обеспечивает дублирование путей к массивам хранения.

  Вам потребуется следующее.

  • На каждом узле может быть создана одна или несколько виртуальных сетей хранения данных. Виртуальные сети хранения данных могут включать адаптеры шины только из одной структуры.
  • Для массивов хранения данных, коммутаторов и адаптеров шин должны быть установлены последние версии драйверов и встроенного ПО.
  • Убедитесь, что массивы хранения данных могут представлять логические единицы.
  • Включите NPIV на коммутаторах Fibre Channel и адаптерах шин.
  • Узлы Hyper-V могут работать под управлением Windows Server 2012 или более поздней версии.
  • Убедитесь, что установлен поставщик SMI-S. VMM управляет структурами Fibre Channel и устройствами сети SAN с помощью поставщика SMI-S. Поставщик SMI-S необходимо установить не на сервере VMM, а на сервере, к которому сервер VMM может подключаться, используя полное доменное имя или IP-адрес.

  Развертывание виртуального адаптера Fibre Channel

  Необходимо сделать следующее:

  1. Выполнить обнаружение и классификацию структур Fibre Channel.
  2. Создать сети vSAN для каждого узла путем группировки портов адаптеров шин узлов.
  3. Создать виртуальную машину, которая может получать доступ к хранилищу виртуального адаптера Fibre Channel.
  4. Создать зоны, которые подключают виртуальный адаптер шины каждого узла или виртуальной машины к массиву хранения данных. Зоны используются для подключения массива Fibre Channel к виртуальной машине узла.
  5. Создать номера LUN и зарегистрировать их для узла, виртуальной машины или уровня службы.
  6. Создать шаблон службы и добавить в него шаблоны виртуальных машин. Для каждого виртуального адаптера шины потребуется указать динамическое или статическое назначение WWPN-имен и выбрать классификацию. Создайте и разверните уровень службы на основе шаблона службы для доступа к хранилищу виртуального адаптера Fibre Channel. Вам потребуется привязать массив Fibre Channel к уровню службы, добавить диск, создать LUN и зарегистрировать LUN в уровне.

  Обнаружение и классификация структур Fibre Channel

  Создание виртуальных сетей хранения данных (vSAN) и назначение адаптеров шины

  Вы можете создать виртуальные сети хранения данных и назначить для них адаптеры шины. На каждом узле может быть создана одна или несколько виртуальных сетей хранения данных. Каждая виртуальная сеть хранения данных может содержать только адаптеры шины, принадлежащие одной и той же структуре.

  Виртуальные адаптеры шины, представляющие виртуализацию адаптеров шины Fibre Channel, используются виртуальными машинами для подключения к виртуальным сетям хранения данных. Каждый виртуальный адаптер шины имеет имя узла в Интернете (WWNN), отличающееся от WWNN адаптера шины узла. С помощью NPIV адаптер шины главного компьютера можно сопоставить с несколькими виртуальными адаптерами шины. Порты адаптеров шины, назначенные виртуальной сети хранения данных, при необходимости могут добавляться или удаляться.

  Создание шаблона виртуальной машины

  Виртуальные адаптеры шины используются виртуальными машинами для подключения к виртуальным сетям хранения данных. Чтобы подключить виртуальные адаптеры шины к виртуальным сетям хранения данных, сначала необходимо их добавить в профиль оборудования шаблона виртуальной машины.

  1. С помощью мастера создания виртуальных машин создайте виртуальную машину, а затем добавьте новый адаптер Fibre Channel (виртуальный адаптер шины) на странице Настройка оборудования шаблона виртуальной машины. Для каждого созданного виртуального адаптера шины укажите динамические или статические назначения WWPN и выберите классификацию структуры.
  2. Также с помощью мастера создания виртуальных машин разместите и разверните виртуальную машину на конечном узле. Убедитесь, что узел содержит виртуальную сеть хранения данных, соответствующую структуре хранилища.

  После развертывания виртуальной машины в узле можно соотнести зоны массива хранения данных виртуального адаптера Fibre Channel с виртуальной машиной. Затем необходимо создать LUN и зарегистрировать его (снять маску) на виртуальной машине.

  Создание зон

  Зоны используются для подключения массива Fibre Channel к узлу или виртуальной машине. Целевые порты массива хранения данных сопоставляются с портами адаптеры шины на узле или портами виртуального адаптера шины на виртуальной машине. Вы можете создать зоны для узла, виртуальной машины или их обоих. Для отказоустойчивых кластеров Hyper-V зона необходима для каждого узла в кластере. Обратите внимание на следующее.

  • Зоны группируются в наборы зон, которые совместно используют устройства структуры Fibre Channel. Набор зон можно активировать после добавления всех зон в набор, их изменения или удаления при необходимости. При активации набора зон сведения для каждой зоны передаются в коммутаторы Fibre Channel в выбранной структуре.
  • Взаимодействовать друг с другом могут только участники одной и той же зоны.
  • Вам потребуется создать зоны и активировать набор зон. Активация набора зон может вызвать некоторый простой в структуре, пока все изменения не будут переданы на все коммутаторы.
  • Если требуется добавить массив хранения данных в кластер Hyper-V, сначала необходимо разделить на зоны массив на каждом узле. Подобным образом, если требуется добавить массив в гостевой кластер, сначала необходимо разделить на зоны массив на каждой виртуальной машине.

  Настройте зоны следующим образом.

  1. Щелкните Виртуальные машины (VM) и службы > Службы, щелкните правой кнопкой мыши подходящую виртуальную машину и выберите Свойства > Хранилище > Добавить > Добавить массив Fibre Channel.
  2. На странице Добавить массив Fibre Channel > Свойства выберите Создать зону, укажите имя зоны, выберите массив хранения данных и в разделе Структура выберите коммутатор. В группе Целевые порты массива хранения данных выберите подходящее WWPN-имя порта или портов. В группе Инициатор виртуальной машины выберите подходящее WWPN-имя порта или портов. Затем нажмите кнопку Создать. Щелкните Показать псевдонимы, чтобы просмотреть доступные псевдонимы зон.
  3. Чтобы активировать набор зон, щелкните Структура > Имя, выберите неактивный набор зон > Активировать набор зон.
  4. Наборы зон можно просмотреть для структуры на странице Структура > Структура Fibre Channel > Имя, щелкните правой кнопкой мыши подходящую структуру и выберите пункт Свойства > Наборы зон.
  5. Если вы хотите изменить зоны для массива хранения данных, щелкните Виртуальные машины (VM) и службы > подходящий узел > Свойства > Хранилище > Массивы Fibre Channel > Изменить > применимый массив и измените параметры зоны.

  Создание и регистрация LUN

  Обновите операционную систему, скачайте с сайта, извлеките из архива, установите пакет QConvergeConsole CLI for Windows и пакет UltraPath for Windows.

  
  

  2. Выбрать пакет для загрузки:

  
  

  3. Установку пакета выполнять в режиме Custom:

  
  

  4. Отключить все кроме драйвераFC и консольных утилит QConvergeConsole CLI:

  
  

  Сервер подключается к СХД по такой схеме:

  
  

  Многопутевой ввод-вывод (Multipath I/O)

  Использовать много-путевой доступ необходимо даже в том случае если на вашем сервере используется 1 порт.

  Иначе, например, в случае обновления прошивки на одном из контроллеров СХД произойдет временное отключение вашего сервера от СХД и данные на вашем LUN могу быть повреждены.

  Многопутевой ввод-вывод (Multipath I/O) — технология подключения узлов сети хранения данных с использованием нескольких маршрутов. В случае отказа одного из контроллеров, операционная система будет использовать другой для доступа к устройству. Это повышает отказоустойчивость системы и позволяет распределять нагрузку.

  Multipath устройства объединяются в одно устройство с помощью специализированного программного обеспечения в новое устройство. Multipath обеспечивает выбор пути и переключение на новый маршрут при отказе текущего. Это происходит невидимо для программ и процессов использующих это устройство. Кроме того Multipath способен распределять передачу данных по разным путям посредством различных алгоритмов, например:

  round-robin - Цикл по всем маршрутам в группе маршрутов, посылая одинаковый поток в каждый) queue-length Посылать следующую порцию данных по маршруту с наименьшим количеством невыполненных запросов service-time - Посылать следующую порцию данных по маршруту с наименьшими задержками, которые определяются делением общего объема невыполненного ввода/вывода на каждом маршруте на их относительную пропускную способность.

  Без Ultrapath ваша система будет видеть 4 устройства вместо одного.

  Преимущества Huawei UltraPath

  
  

  6. После перезагрузки системы в менеджере устройств (Секция Storage Controllers)убедитесь что установлена актуальная версия драйвера Qlogic и Ultra-Path support

  
  

  7. Запустить консоль Ultra-Path, зайти в меню System > Global Settings и установить параметры как на этом снимке:

  
  

  8. Зайдите в менеджер дисков, активируйте диск, создайте раздел с файловой системой.

  
  

  9. В консоли Ultra-Path выберите все пути (1), запустите Performance Monitor (2), выберите тип измерений / measurement (3), запустите мониторинг (4), дайте нагрузку на диск и убедитесь что данные передаются по всем путям.

  Что такое MPIO?
  Это стандартный компонет ОС Windows, который не включен поумолчанию, его надо добавить после установки ОС. Технология MPIO не зависит от протоколов и может использоваться с интерфейсами Fibre Channel, Internet SCSI (iSCSI) и Serial Attached SCSI (SAS) в ОС Windows Server 2008 и Windows Server 2012. Архитектура Microsoft MPIO поддерживает подключения SAN с использованием iSCSI, оптоволоконных каналов и хранилищ SAS путем создания нескольких сеансов или подключений к массиву хранилища.
  
  Год назад я убедил руководство в обновлении серверного оборудования. Было преобретено: СХД NetApp 2040, с двумя контроллерами, на каждом контроллере по 4 сетевых порта, и Блейд-сервер. Вместе с серверами имеющимися получилось 4 физических сервера и СХД. Планировалось использовать iSCSI. Вместе с оборудованием получили в подарок первоначальную настройку оборудования, так как о виртуализации слышали только в теории.

  Внедренцы убедили нас в том, что необходимо использовать гипервизор VmWare, хотя у нас используются только сервера Windows. Как я выяснил позже: их специалисты лучше разбирались в этом гипервизоре, поэтому они и настояли на VmWare. При подключении дисков по iSCSI встает вопрос о скорости работы подключенных дисков. На NetApp 4 сетевых порта и на каждом сервере по 4 сетевых карточки. Для того чтобы включить Multipath в VmWare необходимо докупать дополнительные лицензии, и по словам внедренцев очень сложная настойка, которая в итоге дает только отказоустойчивость, так как подключенный диск по iSCSI будет иметь только одну сессию и передача данных с СХД на сервер будет идти только по одному каналу, то есть через один физический интерфейс. Так что имея на сервере 4 сетевых карточки, используется только одна, а остальные для отказоустойчивости и служебных нужд гипервизора. В Windows Server 2012 при включении MPIO (Microsoft Multipath) и правильной настройке, данные с СХД на сервер идут по нескольким путям, что увеличивает скорость работы подключенного диска и дает возможность использовать несколько сетевых адаптеров.

  Я не буду описывать роцедуру включения и инастройки MPIO, так как уже много статей на эту тему написано. Скажу что это не сложно, главное чтобы эта компонента была включена. Для подключения к СХД я использовал утилиту SnapDrive от NetApp, в которой предусмотрено создание дополнительных ссесий подключения дисков.

  
  

  При включении MPIO и настройке через три сетевых адаптера скорость обращения к диску увеличилась. Это скрин сделан внутри виртуальной машины, хотя данный тест не показатель, но все же при замере скорости без использования Multipath скорость была ниже 100 Mb/s, прошу поверить на слово, не хочется отключать Multipath и делать скрин. Эти тесты я делал пока тестировал Server 2012 и Hyper-V.
  А этот скрин сделал на работающей машине:

  
  

  Кода идет нагрузка на диск виртуальной машины, на хостовой системе в диспетчере задач четко видно какие сетевые адаптеры задействованы. И если MPIO настроен на две сетевых карточки, то трафик идет по двум интерфейсам. Если MPIO настроить на использование трех сетевых карточек, то при нагрузке на жесткий диск в виртуалке, на хосте четко видно в диспетчере задач, что трафик идет по трем сетевым карточкам. В мониторе ресурсов тоже четко видно по каким портам идет трафик.

  Так что в Windows Srver 2012 имеется стандартный компонет Multipath и его включение и настройка не очень сложные.

  Читайте также:

    
  • Как сделать терминал как в kali linux
    
  • Почему не скачивается варфейс на виндовс 7
    
  • Драйвера для windows 7 без подключения к интернету
    
  • Как убрать стрелки с ярлыков в windows 10
    
  • Что такое регулярные выражения linux