Freenas iscsi настройка vmware
Обновлено: 30.06.2024
В первую очередь дисковая полка нужна чтобы подключить МНОГО дисков к серверу. В случае с LSI 620J – это 72 диска 2.5", а если брать LSI 630J – 36 дисков 3.5". Сам по себе сервер такое кол-во дисков вместить в себя не сможет, хотя мощный RAID контроллер может поддерживать такое количество. Такие объемы информации встречаются, если вы сохраняете потоковое видео или другие мультимедийные проекты.
В виртуализации, большое дисковое пространство необходимо при организации системы хранения данных. Например, у вас есть старенький 1U сервер, который можно выделить под СХД, но дисков в него помещается мало. В таком случае можно докупить в этот сервер RAID контроллер, внешнюю дисковую полку, установить FreeNAS и наслаждаться собственной системой хранения.
Что хорошего в полке от LSI? В нее можно устанавливать не брендовые диски, в отличии от IBM, HP и других производителей, а значит вам не нужно платить двойную цену за гарантию. А гарантия на саму полку 3 года и на диски тоже 3 года идет родная, от производителя.
Варианты подключения
Различных способов подключения данных дисковых полок множество, рассмотрим самый простой из них. В сервере находится RAID контроллер с внешним SAS портом, к которому через SAS кабель подключается полка. RAID контроллеры могут быть любые совместимые. Совместимость может быть как со стороны RAID контроллеров (ищем в документации), так и со стороны самой LSI полки. Для примера цена совместимого RAID контроллера LSI 9200-8e - 453$.
Несколько ссылок на документацию:
Готовое решение для малого бизнеса StarWind Native SAN for Hyper-V. Отказоустойчивый кластер без покупки внешнего хранилища.
Эта статья описывает создание сетевого iSCSI хранилища на базе FreeNAS с последующим подключением к гипервизору ESXi 5.0
Есть, как минимум, два основных варианта создания такого хранилища. В первом RAID создается на аппаратном контроллере, а потом уже готовые разделы отдаются через iSCSI сервис в качестве LUN-ов. Во втором, более сложном варианте, RAID собирается софтверный силами FreeNAS и уже на нем создаются разделы, которые можно будет отдать по iSCSI.
Не берусь судить, какой из способов более правильный, каждый это решит для себя сам. Сам FreeNAS в доках первый вариант почти не рассматривает, описывая прелести второго с файловой системой ZFS, он же будет описан и в статье.
Зачем нужна такая СХД?
Ответ на вопрос очевиден, недостаток бюджета на дорогую систему (от 8 000$ ) хранения от известных производителей (HP, IBM, EMC, NetApp…) Этот факт вынуждает администраторов делать СХД самим, чтобы угнаться за технологиями, одной из которых, виртуализации посвящен этот сайт.
UPD. Хотя альтернатива брендовым хранилищам есть, компания QNAP делает бюджетные СХД, с официальной поддержкой VMware vSphere, Citrix XenServer и Microsoft Hyper-V (это очень важный момент, т.к. когда возникают проблемы очень полезным ресурсом оказывается техническая поддержка производителя). У Qnap длинный список оборудования в разных ценовых категориях (от 7 тыс. до 250 тыс. рублей), весь модельный ряд у нас доступен для заказа. Плюсы Qnap в том, что вы можете использовать свои жесткие диски, в том числе и SSD, главный минус - отсутствие второго контроллера, а значит отказоустойчивости нет.
Все довольно просто: сервер + ПО = NAS СХД
Сервер.
- старый сервер с большим количеством жестких дисков
- старый сервер + новая дисковая полка
- новый сервер с большим количеством жестких дисков ( Intel )
- сервер + старая полка с дисками (direct attached storage)
Программное обеспечение.
Софта для создания NAS(network attached storage) хранилищ в интернете много, какой из продуктов выбрать, решать вам. Принцип работы у них, примерно, один и тот же.
FreeNAS - проект немолодой, зарекомендовавший себя, время от времени выпускает новые версии своего продукта. Что важно, FreeNAS сделан на FreeBSD, о стабильности работы этой ОС ходят правдивые легенды. А нам как раз нужна стабильность, для хранения данных.
Основной функционал FreeNAS 8:
- Управление через Web интерфейс
- Доступна файловая система Zettabyte (ZFS) и как следствие RAID-Z
- Возможность управления через командную строку
- Поддержка 10Gbe сети и 10Gbe адаптеров (во многих брендовых хранилищах начального уровня такие скорости не предусмотрены вообще)
- Создание мгновенных снимков (Snapshot)
- Технология Link Aggregation (Failover, FEC, LACP, Load Balance, Round Robin)
- Резервное копирование и восстановление, репликация данных.
- Технология Thin Provisioning
- Поддержка популярных протоколов
Для VMware vSphere подходят два типа NAS подключений к хранилищу – это NFS и iSCSI. FreeNAS позволяет настроить и использовать оба варианта.
Установкаи настройка NFS
Основной момент это выбор места установки, диск или флешка. Использование съемного накопителя является более выгодным, т.к. экономит для вас как минимум один жесткий диск.
Перед нами интерфейс управления системой, понятные иконки, приятные цвета.
Программный или аппаратный (с помощью контроллера) RAID создавать решать вам. В моем случае, в тестовой среде, создаю RAID-Z из трех дисков, файловая система ZFS. Для этого выбираю закладку Storage, иконку Create volume. Открывается окно, где нужно задать имя, выбрать диски , файловую систему и тип RAID. После выбора жмем на кнопку Add Volume и видим, что был создан новый том.
Служба работает, пришла пора ее настроить. Sharing – Unix – Add Unix Share.
- Volume path – путь к тому, который будет использоваться
- Authorized network or IP address – подсеть или IP адрес(а) для которых разрешен доступ к данной Share
- All directories – доступ ко всем директориям
- Maproot user – каждый подключающийся пользователь получает права root в этой Share
Возможно, еще потребуется задать сетевые настройки. Network – Interface – Add Interfaces
Теперь система хранения данных готова для подключения к ней хоста ESXi и миграции на нее виртуальной машины.
Подключение NFSstorageк ESXi. Миграция ВМ.
Для подключения NFS share переходим во вкладку Configuration – Storage – Add Storage на хосте ESXi
Тип Хранилища – Network File System
Locate Network file system – вводим настройки, которые были заданы ранее, при конфигурации СХД.
После этого видим наш Storage в списке подключенных хранилищ, можно использовать его. Запускаем процесс миграции (storage vMotion) виртуальной машины. Правой кнопкой мыши по ВМ, Migrate- Change datastore – наш NFS storage. И виртуальная машина меняет свое расположение без простоев.
В VMware vSphere вы можете использовать iSCSI диски в качестве общего дискового хранилища для ваших ESXi хостов. ESXi хост получает доступ к таким дискам по вашей локальной сети с помощью протокола TCP. В этой статье мы рассмотрим, как подключить iSCSI LUN с вашей СХД (или сервера) к хосту VMWare ESXi и создать на нам общее VMFS хранилище.
Предполагаем, что вы создали, настроили и опубликовали iSCSI таргет (диск) на вашей СХД (в Windows Server вы можете в качестве iSCSI таргет использовать виртуальный vhdx диск).
На СХД убедитесь, что вы разрешили подключение к вашему iSCSI таргету вашим ESXi хостам (iSCSI инициаторы). Доступ можно получить по IQN (как получить IQN iSCSI адаптера в ESXi показано ниже, по DNS имени, IP или MAC адресу.В данном примере мы используем отдельно стоящий хост с ESXi 6.7 (можно использовать и бесплатный ESXi Hypervisor). Это может быть физический хост или виртуальная машина (например, вот пример использования ESXi с помощью nested virtualization в Hyper-V). На хосте есть два сетевых интерфейса (один будет использоваться для управления, второй для трафика к iSCSI LUN).
Настройка сети для iSCSI трафика в VMWare ESXi
Сначала нужно создать отдельный VMkernel сетевой интерфейс, который будет испоьзоваться ESXi хостом для доступа к iSCSI хранилищу. Перейдите в раздел Networking -> VMkernel NICs -> Add VMkernel NIC.
Кроме vmk порта нужно сразу создать новая группа портов (New port group). Укажите имя для этой группы – iSCSI и назначьте статический IP адрес для вашего интерфейса vmkernel.
Теперь перейдите в настройки вашего стандартного коммутатора vSwitch0 (Networking -> Virtual Switches). Проверьте, что второй физический интерфейс сервера vmnic1 добавлен в конфигурацию и активен (если нет, нажмите кнопку Add uplink и добавьте его).
Проверьте в секции Nic Teaming что оба физических сетевых интерфейса находятся в статусе Active.
В результате ваш ESXi хост будет использовать для доступа к вашему iSCSI LUN только один интерфейс сервера.
Настройка программного iSCSI адаптера в VMWare ESXi
По умолчанию в ESXi отключен программный адаптер iSCSI. Чтобы включить его, перейдите в раздел Storage -> Adapters. Нажмите на кнопку Software iSCSi.
Измените iSCSI enable на Enabled.
Обратите внимание, что здесь также указан IQN вашего iSCSI адаптера(инициатора), который можно использовать при настройке доступа к iSCSI LUN на СХД).Затем в секции Dynamic targets добавьте IP адрес вашего iSCSI хранилища и порт подключения (по-умолчанию для iSCSI трафика используется порт TCP 3260). ESXi просканирует все iSCSI таргеты на этом хосте и выведет их в списке Static Targets.
Сохраните настройки. Обратите внимание, что на вкладке Storage -> Adapters появился новый HBA vmhba65 типа iSCSI Software Adapter.
Если вы не видите список iSCSI таргетов на СХД, можно продиагностировать доступность iSCSI диска через консоль ESXi.
Включите на ESXi хосте SSH и подключитесь к нему с помощью любого SSH клиента (я использую встроенный SSH клиент Windows 10)
С помощью следующей команды можно выполнить проверку доступности вашего iSCSI хранилища (192.168.13.10) с указанного vmkernel порта (vmk1) :
В этом примере iSCSI хранилище отвечает на ping.
Теперь нужно проверить, что на хранилище доступен iSCSI порт TCP 3260 (в этом примере 192.168.13.60 это IP адреса интерфейса vmk1):
Проверьте, что на хосте включен программный iSCSI:
Если нужно, включите его:
Также можно получить текущие параметры программного HBA адаптера iSCSI:
Создаем VMFS хранилище на iSCSI LUN в VMWare ESXi
Теперь на доступном iSCSI диске можно создать VMFS (Virtual Machine File System) хранилище для размещения файлов виртуальных машин.
Перейдите в раздел Storage -> Datastores -> New datastore.
Задайте имя VMFS хранилища и выберите iSCSI LUN, на котором его создать.
Выберите тип файловой системы VMFS 6 и укажите, что для хранилища нужно использовать весь объем iSCSI диска. Через несколько секунд новое VMFS хранилище станет доступно из ESXi.
Итак, вы подключили iSCSI диск к вашему ESXi хосту и создали на нем VMFS хранилище. Это хранилище могут одновременно использовать несколько ESXi серверов. Теперь у вас есть общее хранилище, и если вы настроите VMware vCenter server, вы сможете использовать vMotion для перемещения запущенных ВМ между хостами.
Первоначальную настройку FreeNAS мы проделали в предыдущей статье.
В этой части настроим FreeNAS. Во второй части - WMware ESXi.
Для этого, залогинимся на сервере и произведем следующие настройки.
Заходим в службы и выбираем iSCSI. ( По умолчанию выключено.)
Базовое имя подставится само. Аутентификация нам не нужна (VMware и FreeNAS находятся в отдельной подсети и никто чужой туда доступа не имеет. Поэтому ставим "Авто". Таймауты оставляем по умолчанию.
Теперь необходимо настроить порталы, т.е ввести номер метки и адрес сервера FreeNAS с портом для работы протокола iSCSi по-умолчанию. Иначе говоря : по какому IP адресу и порту работает сервер.
Добавляем инициаторов - тех, кто можем коннектиться к FreeNAS.
Я просто описал подсеть. Обязательно должен быть указан номер метки.
Описываем Цели. По-русски говоря, где на сервере FreeNAS лежат данные.
Сначала создаем экстент, тип выбираем "файл". Указываем путь на сервере и размер файла.
Внимание , при указании пути директории должны быть созданы. ( В данном случае директория /mnt/).
А теперь добавляем цель. (Связываем экстент с файловой системой хранилища.)
Имя цели - dsk0
Тип- диск
флаги - RW (обязательно RW, иначе не сможем создавать снапшоты)
группа порталов и инициаторов - согласно их меткам (1).
Хранилище , и т.д.
Настройку FreeNAS на этом закончили.
В этой части рассмотрим настройку VMware ESXi к FreeNAS по протоколу iSCSi.
Сначала добавим сетевую карту, по которой VMware ESXi будет общаться с FreeNAS.
Логинимся на VMware.
Заходим в хост - Configuration-Networking.
Видим только настроенную карту (vmnic0) локальной сети предприятия ip -10.10.10.65
Далее выбираем вверху Virtual Switch и Properties.
Попадаем на вкладку Ports. С нее переходим на вкладку Network Adapters и нажимаем Add.
Видим адаптер vmnic1 со скоростью 1000Full (предварительно эта сетевая карта была соединена с помощью кросс кабеля с сетевой картой FreeNAS.) и выбираем его с помощью галочки.
Т.к. Failover нам не нужен делаем оба сетевых интерфейса активными.
Жмем Finish.
После добавления интерфейса не забываем назначить ему Ip адрес для возможности работы с freenas.
Как это делается смотрите в предыдущих статьях.
Необходимо разрешить и настроить работу по iscsi.
Идем в Configuration- Storage Adapter. Выбираем ISCSI Software Adapter - Properties.
По умолчанию iSCSi adapter запрещен. Жмем Configure button и выбираем Enable,Ok
Идем на вкладку Dynamic Discovery, выбираем Properties. Жмем добавить. Добавляем IP адрес сервера и порт.
Идем в Static Discovery и проверяем, видно ли FreeNAS
Далее займемся настройкой для подключения к хранилищу.
Переходим к Storage. Видим локальное хранилище datastore1.
Далее Add Storage - Disk/LUN - Next.
FreeNAS. Установка FreeNAS на VMware ESXi
VMware ESXi
Если вы планируете использовать ESXi, прочтите этот пост для объяснения того, почему iSCSI будет быстрее, чем NFS
ESXi is is a bare-metal hypervisor architecture created by VMware Inc. Commercial and free versions of the VMware vSphere Hypervisor operating system (ESXi) are available from the VMware website. Once the operating system is installed on supported hardware, use a web browser to connect to its IP address. The welcome screen will provide a link to download the VMware vSphere client which is used to create and manage virtual machines.
Once the VMware vSphere client is installed, use it to connect to the ESXi server. To create a new virtual machine, click File ‣ New ‣ Virtual Machine . The New Virtual Machine Wizard will launch as seen in Figure 1.
Figure 1: New Virtual Machine Wizard
Figure 2: Select a Datastore
Figure 3: Select the Operating System
Figure 4: Create a Disk for the Operating System
Figure 6: Creating a Storage Disk
If you are running ESX 5.0, Workstation 8.0, or Fusion 4.0 or higher, additional configuration is needed so that the virtual HPET setting does not prevent the virtual machine from booting.
Рассмотрим создание iSCSI Target на базе FreeNAS.
iSCSI Target нужен для использования диска на сервере хранения данных, как блочного устройства для других серверов (например для Windows Server или дляVMware).
Как установить FreeNAS я описывал в статье: Как установить FreeNas и создать на нем файловое хранилище.
Экстент это место хранения данных для iSCSI. В качестве Extent может использоваться либо файл либо диск (HDD, Flash Drive и т.д.). Как выбрать что использовать? Дисковый экстент (Device Extent) или файловый (Extent)?
Лучше использовать дисковый. Он работает быстрее, но использовать дисковый экстент лучше только при наличии аппаратного RAID контроллера (объединив диски в массив с избыточностью информации).
Если аппаратного RAID в системе нет, то тогда использовать программный, основанный на ZFS в котором можно настроить программно избыточность массива.
Как создать ZFS раздел рассказывается в статье: Как настроить ZFS раздел в FreeNas
Теперь создадим iSCSI Target.
Как создать и настроить ISCSI TARGET в FreeNas-01
Переходим Services->Control Services
Включаем iSCSI.
Как создать и настроить ISCSI TARGET в FreeNas-02
Как создать и настроить ISCSI TARGET в FreeNas-03
Переходим: Services->iSCSI->Extents->Add Extent
Добавляем Extents (экстенты).
в поле Extent Name задаем имя нашего экстента. Имя может быть любым.
Далее создадим файловый экстент. Для этого в типе экстента (Extent Type) выберем File.
И нажмем Browse, чтобы указать где именно будет находится наш файловый экстент.
Как создать и настроить ISCSI TARGET в FreeNas-04
Для файлового экстента.
Переходим: Services->iSCSI->Extents->Add Extent
В дереве выбираем раздел, в котором будет создан файл экстента (в моем случае это /mnt/ZFSvolume) и дописываем к пути имя файла (iSCSIFile).
А так же в поле Extent size указываем размер экстента (можно использовать сокращения KB, MB, GB) и нажимем OK.
Как создать и настроить ISCSI TARGET в FreeNas-05
Для дискового экстента.
Переходим: Services->iSCSI->Extents->Add Extent
В случае использования диска в качестве экстента:
так же задаем имя (Extent Name)
в типе (Extent Type) указываем Device
И нажимаем OK.
Будет создан экстент размером с диск или LUN RAID массива.
Как создать и настроить ISCSI TARGET в FreeNas-06
Переходим: Services->iSCSI->Authorized Access->Add Authorized Access
Дабавим пользователей:
Укажем:
Group ID – группа. Имеет численное значение (1);
User – имя пользователя (iscsiuser);
Secret – пароль (по спецификации должен быть не менее 12 символов);
Secret (Confirm) – пароль еще раз.
Нажимаем OK.
Как создать и настроить ISCSI TARGET в FreeNas-07
Переходим: Services->iSCSI->Initiators->Add Authorized Initiator
Добавляем разрешенных инициаторов:
Initiators – имена пользователей, которым разрешен доступ. В нашем случае этоiscsiuser. Можно оставить просто ALL, что означает все, но для безопасности лучше указать.
Authorized network – сеть, из которой разрешен доступ (пример 10.10.3.0/24). Так же можно оставить ALL, но в целях безопасности лучше указать конкретную сеть. Тем более рекомендуется для среды iSCSI использовать отдельную подсеть.
Как создать и настроить ISCSI TARGET в FreeNas-08
Переходим: Services->iSCSI->Portals->Add Authorized Portal
Создадим портал, который будет слушать все интерфейсы:
IP Address – адреса по которым будет доступен iSCSI. Используется если несколько сетевых адаптеров. Если требуется доступ с любого, то оставляем 0.0.0.0
Port – порт, по которому будет доступен iSCSI (по умолчанию 3260).
Нажимаем OK.
Как создать и настроить ISCSI TARGET в FreeNas-09
Переходим: Services->iSCSI->Targets->Add Authorized Target
Создаем Target «точку» подключения к нашей системе хранения. Ее будут видеть инициаторы.
Target Name – имя таргета.
Target Alias – алиас (имя понятное человеку).
Portal Group ID – номер портала, который был создан ранее.
Initiator Group ID – номер группы (созданной ранее).
Auth Method – метод аутентификации (Auto, CHAP, Mutual CHAP).
Authentication Group number – номер группы аутентификации.
Нажимаем OK.
Как создать и настроить ISCSI TARGET в FreeNas-10
Переходим: Services->iSCSI->Targets/Extents->Add Targets/Extents
Для файлового экстента.
Теперь ассоциируем Target с Extent
Выбираем созданный Target: (target) и созданный Extent (iSCSIFileExtent).
Нажимаем OK.
Как создать и настроить ISCSI TARGET в FreeNas-11
Переходим: Services->iSCSI->Targets/Extents->Add Targets/Extents
Для дискового экстента.
Теперь ассоциируем Target с Extent
Выбираем созданный Target: (target) и созданный Extent (iSCSIDiskExtent).
Нажимаем OK.
На данном этапе базовая настройка iSCSI на FreeNAS закончена. Можно подключаться к созданному хранилищу.
Читайте также: