Windows server 2019 storage spaces настройка
Обновлено: 02.07.2024
Итак, в наличии имеется пять дешевых серверов Supermicro с 8 D дисками по 2Tb, подключенных через RAID контроллер Adaptec 6805, одним диском SATA малого размера, подключенным напрямую к материнской плате. На каждом сервере по 2 гигабитные сетевые карты, 16 гигабайт оперативной памяти и по два процессора Xeon E5-2670.
По одному эти сервера для меня представляют мало пользы, но вместе, они представляют из себя сырой объем в 80 терабайт, что уже может быть вкусно для файлового хранилища, без требований к скорости.
Попробую собрать из этого отказоустойчивое хранилище с использованием технологии Storage Spaces Direct. Забегая вперед, скажу что нечетное количество серверов нам понадобится для того, чтобы не заводить в кластере свидетеля. Нечетное количество нод позволяет работать кластеру без свидетеля.
На момент написания статьи в доступе был релиз Windows Server 2016 TP4. Его я и установил на все пять серверов.
ОС определила все оборудование, имеющееся на борту, за исключением SAS контроллера с идентификатором PCI\VEN_8086&DEV_1D6B&CC_0107, что соответствует Intel(R) C600 Series Chipset SAS RAID, который мне сейчас не понадобится.
RAID контроллер позволяет презентовать подключенные к нему диски в виде JBOD, что в нашем случае идеальный вариант.
Первая проблема, которую пришлось решать довольно старая, с которой я столкнулся еще в Windows 2008. Представленные диски ОС видит как набор маленьких RAID массивов:
Get-PhysicalDisk | FT FriendlyName, Mediatype, BusType -autosize
Проверяем работу интерфейсов. В моем случае с двумя сетевыми картами, сделал две сети - клиентскую и кластерную. В идеале, нужно иметь 4 сетевых интерфейса на каждой ноде, создать два switch independent тима и подключить их в два независимых свича, исключив отказ сетевого оборудования:
Get-NetAdapter | FT Name, InterfaceDescription, LinkSpeed -autosize
Собираем кластер из 5 нод:
Включаем функционал S2D:
Enable-ClusterStorageSpacesDirect
Смотрим какие локальные диски на нодах могут быть помещены в пул:
Get-PhysicalDisk | ? CanPool -eq $true
У меня это по 8 локальных физических дисков на каждом из 5 серверов:
Проверяем работоспособность подсистемы StorageSubSystem
Get-StorageSubSystem *cluster*
FriendlyName HealthStatus OperationalStatus
------------ ------------ -----------------
Clustered Windows Storage on s-ssdcl1 Healthy OK
-----
Обозначаем тир:
Тиринг нужен, при наличии разнородных носителей (SSD, SAS, SATA). Tier-зеркало (актуальный для SSD носителей) создается так:
New-StorageTier -StoragePoolFriendlyName "StorageSpacesDirect" -FriendlyName "MirrorTier" -MediaType SSD -ResiliencySettingName Mirror
В нашем случае, можно создавать тир, а можно обойтись и без него, так как диски все одинаковые. Я обозначил Parity тир больше для проформы:
New-StorageTier -StoragePoolFriendlyName "StorageSpacesDirect" -FriendlyName "ParityTier" -MediaType HDD -ResiliencySettingName Parity
-----
Создаем VHD с рабочей емкостью:
Для создания VHD, лично мне удобно пользоваться GUI Failover Clustering.
В повершелле это выглядит так. Если несколько тиров:
New-Volume -StoragePoolFriendlyName "StorageSpacesDirect" -FriendlyName "FailSafeData" -AccessPath "S:" -ResiliencySettingName "Parity" -ProvisioningType "Fixed" -StorageTiers (Get-StorageTier -FriendlyName "ParityTier") -StorageTierSizes 55000GB -FileSystem NTFS
Если один тир, можно просто:
New-Volume -StoragePoolFriendlyName "StorageSpacesDirect" -FriendlyName "FailSafeData" -Size 100GB -ResiliencySettingName "Mirror" -FileSystem NTFS -AccessPath "S: "-ProvisioningType Fixed
Выделил опцию Enclosure awareness - это поможет прозрачно отработать отказ одного из серверов в кластере. Тем не менее сразу теряю емкость 5 дисков (одной ноды).
Полезную емкость у диска выбрал меньшую, чем может дать мой набор дисков. Рекомендуется держать неразмеченный кусок, как кеш для перестроений при замене отказавших дисков:
Проверил отказоустойчивость отключением любого из серверов, и вытаскиванием двух любых дисков - хранилище доступно и работает!
Напоследок несколько заметок по работе с готовым S2D.
Проверить отказоустойчивость:
Get-StoragePool -FriendlyName "StorageSpacesDirect" | FL FriendlyName, Size, FaultDomainAwarenessDefault
Удаление в обратном порядке:
смотрим какие есть виртуальные диски (тут я его удалил из оснастки, но видно что он не удален раельно а только Detached)
Get-VirtualDisk
FriendlyName ResiliencySettingName OperationalStatus HealthStatus IsManualAttach Size
------------ --------------------- ----------------- ------------ -------------- ----
StorageSpacesDirect Parity Detached Unknown True 402 GB
Удаляем диск
Remove-VirtualDisk "StorageSpacesDirect"
Если нужно, изменяем свойство пула IsReadonly на False (иначе не сможем удалить пул):
Set-StoragePool "StorageSpacesDirect" -IsReadOnly $False
Во многих дата-центрах и серверных фермах для хранения данных используются HDD и SSD. Статистика, однако, сообщает о том, что после трёх лет работы 10% дисков становятся негодными.
Конечно, те организации, которые заботятся о целостности и сохранности своих данных, держат руку на пульсе, а также отслеживают и другие факторы риска - будь то человеческий фактор, железо или софт. И тут тем, кто работает с Windows-инфраструктурой, могут помочь Windows Storage Spaces. Ведь их RAID-подобная функциональность (то, что мы видим в File Explorer как виртуальные диски) весьма полезна в деле обеспечения резерва мощностей хранения.
Гибкие возможности масштабирования тоже привлекательны: можно объединить 3 и более драйвов в единый сторадж-пул и затем формировать на его основе “стораджики” нужного размера. А поскольку при работе с пулом формируются и сохраняются дополнительные копии для ваших данных, то проблемы с одним из дисков не приведут к потере всего и вся. А если понадобилось больше места? Просто добавь воды еще дисков в пул.
Storage Spaces для Windows 10
- Он забирается на самую высокую сосну и оттуда планирует.
- Ага, простите, что планирует?
- Он прыгает и планирует.
(“День радио”)
Даже если сценарий развертывания, который вы хотите воплотить, входит в число самых популярных, и инструкция к нему коротка и вроде даже сходу понятна, этап подготовки и планирования все равно никто не отменял. Итак:
Если вы используете дисковые пространства Storage Spaces на машине с Windows 10, то рекомендуется обеспечить наличие минимум 2 дисков помимо системного. Эти диски могут быть как встроенными, так и внешними. Поддерживаются SSD; можно комбинировать SATA, USB и SAS.
Количество дисков рассчитывается исходя из того, какой метод обеспечения отказоустойчивости вы хотите применить. Есть вот такие варианты:
Simple (простой) - требует наличия минимум двух дисков. Хоть этот метод и дает хорошую производительность, но ничем вам не поможет в случае отказа. Его можно использовать, например, если вы настраиваете storage space для хранения временных данных (например, файлов видео-рендеринга, файлов-черновиков в графических редакторах, и так далее).
Mirror (зеркальный) - позволяет сохранять несколько копий данных на случай отказа. Так, Two-way mirror spaces хранят две копии данных, и с ними вы переживете отказ одного из дисков. Для их организации потребуется минимум два диска. Three-way mirror spaces позволят пережить отказ двух дисков, а для их организации потребуется минимум пять. Зато хранить в таких storage spaces можно самые разнообразные данные.
Parity (с контролем четности) - рекомендуется для хранения архивных и стриминговых данных. Хранят несколько копий на случай отказа. Если вы хотите обеспечить отказоустойчивость в случае проблемы с одним диском, то в сценарии с Parity spaces вам понадобится минимум три диска, а на случай проблемы с двумя - минимум семь дисков.
После того, как вы все рассчитали и подготовили, можно организовать собственно Storage Spaces. Для этого в Windows 10 нужно выполнить вот такие шаги:
Проверить, что диски, которые вы планируете задействовать, у вас подключены.
Важно! Если вы укажете, что в сторадж-пул хотите включить размеченный диск, имейте в виду, что Windows безвозвратно удалит все разделы и файлы на нём. До начала работы сделайте резервную копию всего, что вам дорого на этом диске!
Для простоты в поле поиска в панели задач вводим Storage Spaces и из полученного списка выбираем Storage Spaces.
Кликаем Create a new pool and storage space.
Выберем нужные нам диски и затем кликнем Сreate new storage pool.
Указываем имя, буквенное обозначение и файловую систему для нового сторадж пула.
На случай сбоя рекомендуется выбрать метод обеспечения отказоустойчивости (Resiliency) как одну из следующих опций: Two-way mirror, Three-way mirror или Parity.
Важно! Помните про количество дисков, которые потребуются в каждом из указанных вариантов, о чем мы говорили выше. Если, допустим, вы предпочтете Two-way mirror, то для нового storage space будет создаваться две копии данных. Так что для такого сценария понадобится минимум два диска (помимо системного).
Затем задайте максимальный размер стораджа для Storage Spaces.
Примечание: Можно указать значение, превышающее размер сторадж-пула - когда место будет заканчиваться, вы просто добавите еще один диск.
Когда с настройками покончено, нажимаем Create storage space.
Оптимизация работы
Рекомендуется своевременно оптимизировать работу с дисками. Вот что советует делать Microsoft:
При добавлении новых дисков в существующий пул рекомендуется оптимизировать использование диска. При этом некоторые данные будут перемещены на новый диск, чтобы оптимизировать использование емкости пула. Это стандартное действие при добавлении нового диска в обновленный пул в Windows 10: флажок Optimize to spread existing data across all drives будет установлен по умолчанию.
Однако если вы сняли этот флажок или добавили диски до обновления пула, вам нужно вручную оптимизировать использование диска. Для этого в поле поиска на панели задач введите Storage Spaces, выберите Storage Spaces из списка результатов поиска, а затем щелкните Optimize drive usage.
Автономный сервер
Если у вас один отдельно взятый сервер, то для настройки на нем дисковых пространств Storage Spaces есть подробная инструкция от Microsoft, на русском языке и даже с картинкой. Storage Spaces поддерживаются для Windows Server 2019, Windows Server 2016, Windows Server 2012 R2 и Windows Server 2012.
Обратите внимание: до начала настройки нужно обеспечить наличие одного или нескольких пулов, а также проверить конфигурацию на соответствие ряду требований (они перечислены в разделе "Предварительные условия").
На базе сторадж-пула можно создать несколько виртуальных дисков. (Windows идентифицирует их как обычные диски, которые могут быть отформатированы.)
Для их создания можно использовать File and Storage Services; в настройках можно указать thin provisioning либо fixed provisioning, а также размер. Дополнительные настройки можно задать с помощью команд PowerShell.
Кластеры и Storage Spaces Direct
Если вы работаете с кластером и используете для каждой его ноды СХД с прямым подключением (DAS), то Storage Spaces Direct могут оказаться вполне разумным и эффективным вариантом по сравнению с NAS и SAN. Storage Spaces Direct отличаются хорошей масштабируемостью и возможностями управления. Технология Storage Spaces работает наряду с кэшированием, RDMA и поддержкой СХД для разных уровней (tiers). Помимо этого, поддерживаются диски NVMe.
Storage Spaces Direct поддерживаются для Windows Server 2019 Datacenter, 2016 Datacenter и Insider Preview Builds. Можно создать конвергентное или гипер-конвергентное пространство.
Вкратце, основные этапы развертывания Storage Spaces Direct - это:
Развертывание Windows Server - установка и настройка ОС, добавление доменных учеток, настройка ролей и необходимых фич.
Настройка сети (этот этап не относится к сценарию развертывания Storage Spaces Direct на виртуальных машинах).
Конфигурация собственно Storage Spaces Direct - очистка дисков и разделов, настройка кластеров, настройка Storage Spaces Direct, создание томов, развертывание необходимых виртуальных машин.
Для конвергентной инфраструктуры - развертывание масштабируемых файловых серверов, настройка ролей, создание шар, настройка ограниченного делегирования Kerberos.
Все эти этапы очень подробно описаны здесь (на русском языке).
Возможен сценарий, при котором все физические диски содержатся в enclosures с общим доступом - это т.н. JBOD enclosure. Такая инфраструктура должна соответствовать требованиям Windows Certification, а также включать в себя идентичные SAS HBA (имеющие сертификацию Storage Spaces). Такие диски в кластере не должны иметь встроенную функциональность RAID.
Storage Spaces vs. RAID
Как водится, у Windows Storage Spaces и RAID есть свои преимущества и свои недостатки. Об этом уже написана не одна сотня строк (например, здесь). Вкратце:
У RAID есть два аспекта: аппаратный и программный - а Windows Storage Spaces, так сказать, является software-driven, настраивается целиком через графический интерфейс или командную строку.
Для программных RAID, как и для Storage Spaces отсутствуют ограничения по числу сокетов (у традиционных RAID они есть).
ОС по-разному “видит” диски в RAID и в Storage Spaces - диски RAID предстают как цельный юнит (даже если у физических дисков разная емкость), что может приводить к неоптимальному использованию свободного пространства. Для Storage Spaces такой проблемы нет, так как есть доступ к отдельным дискам.
Если говорить о производительности, то RAID 0 превосходит Storage Spaces с режимом simple mode примерно вдвое. Однако на скоростях 4K они уже сравнимы. RAID 1 быстрее выполняет последовательные операции чтения, зато Storage Spaces в режиме two-way mirror mode вдвое быстрее выполняет операции записи, нежели RAID 1. Что касается hardware RAID, то операции чтения и записи для них гораздо быстрее, чем Storage Spaces в режиме parity mode.
Storage Spaces Direct (S2D) – новая технология распределенного хранения данных, представленная в Windows Server 2016. Благодаря использованию Storage Spaces Direct локальные диски нескольких серверов можно организовать в отказоустойчивое, масштабируемое хранилище, защищенное от выхода из строя как отдельных дисков, так и целых серверов. Цена такого «программного» хранилища получается значительно меньше, чем стоимость организации полноценного SAN или NAS, а за счет простого масштабирования (до 16 серверов и 400 дисков) и возможности использовать различных накопителей (в том числе SSD и NVMe) можно обеспечить значительную производительность.
Что такое Storage Spaces Direct (S2D)
S2D является дальнейшим развитием технологии Storage Spaces и позволяет объединить локальные диски узлов (серверов) кластер Hyper-V в пулы хранения (Storage Pool). На данных пулах можно создать виртуальные тома (диски) и использовать их в качестве общего тома кластера Cluster Shared Volume (CSV) для хранения файлов виртуальных машин Hyper-V и файловых шар SOFS-серверов. При необходимости расширить размер хранилища достаточно добавить в S2D новый сервер или накопитель. По сути, технология Storage Spaces Direct является ответом Microsoft на VMware vSAN.
Требования к Storage Spaces Direct
В S2D поддерживаются следующие типы устройств хранения:
В дальнейшем разные типы дисков можно комбинировать в различные массивы (по скорости и емкости), например, логично расположить кэш и транзакционные логи приложений на скоростных NVMe SSD, медленные и недорогие диски лучше использовать для хранения больших файлов, доступ к которым не требует повышенной производительности и т.д.
Для работы S2D нужно организовать отказоустойчивый кластер, к узлам которого выдвигаются следующие требования:
Требования к узлам кластера S2D
Примечание. Не забудьте отключить SMB 1: Remove-WindowsFeature –Name FS-SMB1 -Verbose -RestartИтак, предполагаем, что у нас уже собран отказоустойчивый кластер из двух серверов с Windows Server 2016 (можно собрать такой кластер даже в рабочей группе).
Примечание. Если в кластере четное число серверов, придется настроить ресурс-свидетель. Если количество узлов нечетное – свидетель не нужен.Перед тем, как включить Storage Spaces Direct, проверьте, что ваши диски можно объединить в такой пул.
Get-PhysicalDisk –CanPool $True | Sort Model
Включаем Storage Spaces Direct
Активируем S2D с помощью командлета:
Командлет отрабатывает довольно долго (около 10 минут), в течении которых будет проанализированы все доступные диски и их производительность, и автоматически создан кластерный пул. Также автоматически создаются два тира: Performance и Capacity с разным типом отказоустойчивости хранения: mirror и parity соответственно.
Всего поддерживаются 3 типа организации отказоустойчивого хранения данных:
- Mirrored (3) – данные синхронно реплицируются между 3 (или 2 в минимальной конфигурации) узлами. Высокая скорость чтения обеспечивается распределением операции между всеми серверами.
- Parity (2) – данные с хранением четности распределены между разными дисками. Данные хранятся более эффективно, т.к. не надо как в первом случае хранить несколько копий одних и тех же данных.
- Tiered (1) – используется комбинация обоих техник.
Откроем консоль управления кластером и убедимся, что в разделе Storage новый появился Cluster Pool 1.
Выбрав пул, можно увидеть из каких дисков он состоит.
В случае необходимости, имя пула можно изменить:
Set-StoragePool –FriendlyName “Cluster Pool 1” –NewFriendlyName “S2D”
Если нужно создать том из определенных дисков, можно воспользоваться к примеру, такой командой. Сначала выбираем все диски с LUN 3, а затем собираем из них пул.
$HDDs = Get-PhysicalDisk | ? PhysicalLocation -like "*LUN 3"
New-StoragePool -StorageSubSystemFriendlyName *Cluster* -FriendlyName S2DPool -ProvisioningTypeDefault Fixed -PhysicalDisk $HDDs
Вывести список дисков в пуле:
Get-StoragePool -FriendlyName S2D | Get-PhysicalDisk | ft PhysicalLocation
Добавить в пул новый диск:
$HDDs = Get-PhysicalDisk | ? PhysicalLocation -like "*LUN 4"
Add-PhysicalDisk -PhysicalDisks $HDDs -StoragePoolFriendlyName S2D
Диски, помеченные как S2D, в консоли управления дисками более не отображаются, это нормально.
При наличии разнородных накопителей можно использовать тиринг (не обязательно). Тир типа зеркало из SSD дисков создается так:
New-StorageTier -StoragePoolFriendlyName S2D -FriendlyName "Mirror_Tier" -MediaType SSD -ResiliencySettingName Mirror
Тир из обычных HDD с хранением четности:
New-StorageTier -StoragePoolFriendlyName S2D -FriendlyName "Parity_Tier" -MediaType HDD -ResiliencySettingName Parity
Теперь можно создать том CSV (Cluster Shared Volume):
New-Volume –StoragePoolFriendlyName S2D –FriendlyName CSV001 –PhysicalDiskRedudancy 2 -FileSystem CSVFS_ReFS -Size 200GB
Список томов и типом избыточности можно вывести так
Get-VirtualDisk | ft FriendlyName, ResiliencySettingName, PhysicalDiskRedundancy
Новый CSV том появится в консоли управления дисками.
Данный том можно использовать для размещения виртуальных машин Hyper-V или сетевого хранилища Scale-out File Server.
Итак, при использовании Storage Spaces Direct из нескольких серверов с локальными дисками можно с легкостью создать программное сетевое хранилище данных. За счет технологии S2D обеспечивается как защита от одновременного выхода из строя любых двух дисков или двух серверов (4+ нодовый кластер). Кластер S2D автоматически запускает процесс перераспределения данных между оставшимися устройствами в случае обнаружения неполадок с дисками или серверами. В тестовой среде можно убедится, что при отключении двух любых дисков хранилище продолжает быть доступным, а ВМ, запущенные на нем штатно работают. Процедура замены неисправного диска в хранилище S2D описана в следующей статье.
Предыдущая статья Следующая статья
Если Вы используете виртуализацию по полной то выходит все равно дешевле чем покупать хранилище, + меньше точек отказа. А если все совсем серьезно то покупать надо две схд, так все равно дешевле выходит, а для дома можно либо 180 дневную скачать либо торрент edition, что бы пощупать технологию.
Есть же Линуксовые продукты , типа freeNas . Из старых серверов можно собрать неплохие NAS .
А виртуальные диски для этого не подходят? Попробовал тоже самое VMware Workstation. При воде командлета Enable-ClusterStorageSpacesDirect. Ошибка нет подходящих дисков.
BusType возвращается как SATA. PartitionStyle как RAW. Все равно выдает ошибку: имеет неподдерживаемый тип носителя
Выполнилие команду
get-physicaldisk
Убедитесь, что у диска отсуствет серийный номер (поле SerialNumber пустое). Он нужен, чтобы S2D собрал диски в пул.
Отредактируйте конфигурационный файл диска VMX и добавьте строку
disk.EnableUUID=”true”
Перезагрузите ВМ и убедитесь, что у диска появился серийный номер
После этого кластерное хранилище должно собраться
Доброго дня. Угуглился, решения так и не нашел. Не знаете ли вы решения как установить UUID для vhdx диска? Hyper-V на 2012r2, гость 2016.
Эксперементирую на виртуалках.
2Max
К сожалению, я тоже не знаю, как изменить UUID для виртуального диска. Опишите ваш сценарий, зачем вам понадоилась смена UUID, может смогу предложить какой-то другой вариант.
Хотел собрать S2D хранилище на виртуалках, проверить отказоустойчивость и тд и тп, прежде чем заказывать пару одинаковых VDS в датацентре.
Т.е. планируется перенос тестовой среды в продакш? Наверно придется добавить в S2D кластер новые диски / сервера, и после окончания синхронизации постепенно убрать старые диски их хранилища.
Планируется хотябы создать тестовую среду) Сейчас я этого не могу сделать, так как в S2D не добавляются диски, так как у них нет GUID. На ней провести тесты. Потом поднять аналогичный кластер на железе и перенести на него продакшн.
Но видимо придется все сразу делать на железе.
Чего хочу:
Взять 2 сервера DELL R640, нашпиговать ssd, в тч nvme + пара hdd и памятью.
Итого 5 raid1 на каждом сервер, SSD массив под системы, а 4 из них в S2D: , SSD под БД, SSD под хранилище Hyper-V, hdd под локальные бэкапы, 1 в резерве, возможно hot-swap или кэш, не определился еще.
На этих же серверах поднять MSSQL AlwaysOn, на них же запускать виртуальные машины.
По идее получу и HA и failover решение.
Был опыт сборки S2D стенда на базе виртуальных машин VMware с SCSI контролером в режиме Physical SCSI Bus Sharing. Соотвественно, нужно поменить один из виртуальных дисков как SSD (Vmware это умеет).
Да, отказоустойчивости хостовой ОС не будет. Желательно использовать RAID под диски ОС.
Т.е. отдельный RAID controller? Я ни разу не собирал в режиме JBOD, но я правильно понял, что нельзя их совмещать?
Но этот отдельный диск под ОС уже не будет участвовать в этом JBOD массиве?
JBOD и Raid взаимоисключающие вещи. Но скорее всего, раз ваш контроллер поддерживает JBOD, то и raid 1 как минимум он должен уметь создавать.
Зачем вам, собственно JBOD, понадобился?
Тут то и затык! Если собрать рейд 1 из двух дисков под ОС, а остальные диски оставить просто unassigned (или как-там называется? В разных контроллерах по разному), то Винда не даст собрать S2D, она не увидит дисков. А я надеялся на такой вариант.
Или использовать встроенные средства ОС и собрать зеркало.
На серверах нужно установить следующие компоненты: роли Hyper-V, File Services и фичу Failover Clustering
а зачем роль Hyper-V на нодах? Впервые вижу что она нужна.
У кого получилось подня тест.стенд на ВМ под ЕСХи?
как бы оно для этого и делалось, чтобы на хостах виртуализации было общее отказоустойчивое хранилище для ВМ
Подскажите пжл, что делать если get-physicaldisk |ft mediatype Выдает Unspecified, на подключенные диски, и не хочет enable-clusterS2d ?
на этих же нодах до этого подключались iscsi диски, может с этим связано.
попробуйте задать тип диска вручную
Set-PhysicalDisk -UniqueId "hd-uid" -MediaType SSD
или
Set-PhysicalDisk -UniqueId "hd-uid" -MediaType HDD
Если в пул объединять то -MediaType меняет, а просто у дисков нет.
дополню, после объединения дисков в пул, выполнил
Get-Physicaldisk | where size -gt 506870912000 | Set-PhysicalDisk –MediaType HDD
а уже после
Enable-ClusterS2D
все прошло.
Отлично, что разобрались и оставили решение здесь 🙂
Подскажите, пожалуйста, при включении S2D процесс зависает на 15%
Enable-ClusterStorageSpacesDirect -Verbose
Выполнено 0/1
[ ]
Включение локальных дисковых пространств кластера
Ожидание затребования физических дисков
[ooooooooooooooo ]
Enable-ClusterStorageSpacesDirect -Verbose
ПОДРОБНО: 2019/01/16-15:54:04.821 Подтверждение поддержки S2D на всех узлах
ПОДРОБНО: 2019/01/16-15:54:04.821 Запрос сведений о хранилище
ПОДРОБНО: 2019/01/16-15:54:05.680 Сортированные типы дисков (от быстрого к медленному): HDD. Число типов: 1
ПОДРОБНО: 2019/01/16-15:54:05.680 Подтверждение поддержки необходимого состояния кэша на узлах
ПОДРОБНО: 2019/01/16-15:54:05.696 Подтверждение поддержки необходимого состояния кэша всеми дисками
ПОДРОБНО: 2019/01/16-15:54:06.961 Отключение ресурса работоспособности
ПОДРОБНО: 2019/01/16-15:54:07.367 Создание ресурса работоспособности
ПОДРОБНО: 2019/01/16-15:54:07.524 Настройка свойств кластера
ПОДРОБНО: 2019/01/16-15:54:07.524 Задание сведений о состоянии домена сбоя по умолчанию в подсистеме кластерного
хранилища
ПОДРОБНО: 2019/01/16-15:54:07.633 Ожидание затребования физических дисков
ПОДРОБНО: 2019/01/16-15:54:10.649 Число затребованных дисков на узле "DEV-16-HC-001": 0/14
ПОДРОБНО: 2019/01/16-15:54:10.649 Число затребованных дисков на узле "DEV-16-HC-002": 0/6
Перед этим по совету Василия я добавлял диски в пул и изменял тип командой
Get-Physicaldisk | where size -gt 506870912000 | Set-PhysicalDisk –MediaType HDD
В результате тип изменился на HDD, но S2D все равно не создается.
Диски физические, подключены через RAID контроллер Adaptec 5805 в режиме jbod.
PS C:\Windows\system32> Get-PhysicalDisk –CanPool $True | Sort Model
FriendlyName SerialNumber CanPool OperationalStatus HealthStatus Usage Size
------------ ------------ ------- ----------------- ------------ ----- ----
Hitachi HDS722020ALA330 JK1131YAGB6DRV True OK Healthy Auto-Select 1.82 TB
Hitachi HDS722020ALA330 JK1131YAG0PAES True OK Healthy Auto-Select 1.82 TB
Hitachi HDS722020ALA330 JK1121YAG5RJDS True OK Healthy Auto-Select 1.82 TB
Hitachi HDS722020ALA330 JK1131YAG0MDLS True OK Healthy Auto-Select 1.82 TB
HITACHI HUS153014VLS300 JNVLAZLC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVG3H8C True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVLPLHC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVES49C True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVG2X3C True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVM00RC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVG8HMC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVK944C True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVLXHMC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVLYTJC True OK Healthy Auto-Select 136.81 GB
PS C:\Windows\system32> Get-PhysicalDisk –CanPool $True | Sort Model
FriendlyName SerialNumber CanPool OperationalStatus HealthStatus Usage Size
------------ ------------ ------- ----------------- ------------ ----- ----
HITACHI HUS153014VLS300 JFYUGUNC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JFYU9R7C True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JFYUGTTC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JFYUNNNC True OK Healthy Auto-Select 136.81 GB
SEAGATE ST3146356SS 3QN4NGRS00009130KJU9 True OK Healthy Auto-Select 136.61 GB
SEAGATE ST3146356SS 3QN4Q51X00009130KJYH True OK Healthy Auto-Select 136.61 GB
Железо старое, UEFI не поддерживается.
Количество дисков на нодах должно быть одинаковым. Иначе у вас будет использоваться только наименьшее количество дисков
небольшой трюк позволяющий в реестре изменить тип шины на SATA для нужного типа контроллера:HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\arcsas\Parameters
«BusType»=dword:0000000b (вместо 00000008)
Спасибо огромное за статью!
Не знаете как по надежности данное решение?
особенно в сравнении с vmware vsan?
В целях изучения что-то не получается развернуть Storage Spaces Direct в Windows Server 2019 в виртуальной среде на базе VMware vSphere 7. При создании пула носителей возникает ошибка:
Не удалось создать пул носителей. Failover clustering was enabled for the storage object but it failed to come online.
В подробных сведениях неработающего кластерного пула следующая информация:
Устройство не опознаёт команду.
Код ошибки 0x80070016
А скажите пожалуйста, почему нужно отключать SMB 1.0 ?
Подскажите пожалуйста, если используется 3 сервера, и в них диски под S2D планируются такие:
в одном 4 SDD по 8TB
во втором 2 SDD по 2TB
в третьем 2 SSD по 1TB и 2 HDD по 2TB
то S2D соберется? Будет ли использоваться все пространство? Или нужно все диски разнести по серверам максимально равномерно?
Или как вообще правильно планировать размещение дисков на серверах под S2D?
В этой статье я рассмотрю установку и использование фичи Storage Space Direct на WinServer 2019.
Чуть подробней опишу некоторые нюансы установки связанные с требованием к типу дисков(Media type) и типу шины (BusType).
Задача: Организовать кластер hyper-V без внешнего хранилища, но с отказоустойчивостью и возможностью миграции ВМ на лету
Среда развертывания
Нам дано 3 сервера IBM x3650 M4 со следующей конфигурацией:
Начнем, пожалуй.
1. Начать стоит с настройки биоса, уефи-хуефи, настройки IMM, выбора режима включения по отказу питания и т.п. вещей. После того как сервак заработает в биос попасть будет проблематично, ведь для этого его потребуется выключить, а выключенный сервер это не нормально :)
2. После этого заходим в настройки Рейд-контроллера, создаем зеркало из дисков под ОС. Диски под данные пока не трогаем, оставляем в режиме JBOD (если в JBOD выставить нельзя - следует обновить контроллер последней прошивкой, в моем случае версия - 23.22.0-0024 )
4. После загрузки ОС и настройки под ваши условия (типа имени, IP, участии в домене), если зайдете в управление дисками не активируйте оставшиеся диски, они должны остаться без партиций.
5. Ставим роли Hyper-V и отказоустойчивого кластера, не должно возникнуть проблем.
7. А дальше начинаются мероприятия связанные непосредственно с Storage Space Direct.
но! из-за требований фичи диски с типом шины отличным от SAS, SATA, NVMe - не поддерживаются!
посмотреть тип шины дисков можно другим командлетом:
Get-PhysicalDisk | ft UniqueId, FriendlyName, BusType, MediaType
Как выясняется, у нас неподдерживаемый тип шины - RAID, и несмотря на выставленный на контроллере и поддерживаемы фичей режим JBOD, ОС видит диски как RAID. Отступая в сторону, скажу что все мои поиски и варианты решения проблемы с видимостью типы шины не принесли плодов, и если найдутся люди которые знают как это сделать, я буду сильно благодарен если опишите это в комментариях.
Другими словами, поддерживаемое Микрософтом решение собрать нам уже точно не удастся.
НО! Есть решение рабочее, но неподдерживаемое.
Мы просто снимаем требование к типу шины кластером для активации этой фичи.
либо инвертируем требование, т.е. приниматься будет только RAID:
В результате у нас появится пул из всех дисков для данных:
Изменяем свойства пула, для получения отказоустойчивости.
Создаём общий кластерный диск для размещений дисков виртуальных машин.
Проверяем отказоустойчивость выключением узла кластера, имитируя неплановый отказ оборудования.
- Получить ссылку
- Электронная почта
- Другие приложения
Комментарии
Защита проводной сети по протоколу 802.1x
Защита сети по протоколу 802.1x через RADIUS сервер на Win Server 2008r2 и оборудовании D-link Добрый день, коллеги! Хочется поделиться опытом внедрения протокола 802.1X, настройке оборудования D-link а так же настройке сервера RADIUS на windows server 2008r2. Часть 1. Тестовый стенд По причинам здравого смысла эксперименты проводим на отдельном стенде, до внедрения в рабочую схему (продакшн) Сценарий первый : Лишь бы заработало Добьемся того, чтобы клиент получал доступ к сети только после авторизации на RADIUS-сервере. Что нам потребуется? Windows Server 2008r2, в моём случае на виртуальной машине Коммутатор D-Link 2 уровня (с поддержкой 802.1x), у меня: DGS-1510-28 Клиент в виде Windows, у меня Windows XP Подразумевается что уже настроено и работает: Домен как таковой, AD. Центр Сертификации, и сертификат сервера центра сертификации распространен в сети. Схема: Итак, настроить нам надо службу RADIUS-сервера, затем настроить 802.1x на ко
Перенос PRTG.
Создание дополнительно файла базы Tempdb
Storage Spaces Direct ( S2D ) – новая технология распределенного хранения данных, представленная в Windows Server 2016. Благодаря использованию Storage Spaces Direct локальные диски нескольких серверов можно организовать в отказоустойчивое, масштабируемое хранилище, защищенное от выхода из строя как отдельных дисков, так и целых серверов. Цена такого «программного» хранилища получается значительно меньше, чем стоимость организации полноценного SAN или NAS, а за счет простого масштабирования (до 16 серверов и 400 дисков) и возможности использовать различных накопителей (в том числе SSD и NVMe) можно обеспечить значительную производительность.
Что такое Storage Spaces Direct (S2D)
S2D является дальнейшим развитием технологии Storage Spaces и позволяет объединить локальные диски узлов (серверов) кластер Hyper-V в пулы хранения (Storage Pool). На данных пулах можно создать виртуальные тома (диски) и использовать их в качестве общего тома кластера Cluster Shared Volume (CSV) для хранения файлов виртуальных машин Hyper-V и файловых шар SOFS-серверов. При необходимости расширить размер хранилища достаточно добавить в S2D новый сервер или накопитель. По сути, технология Storage Spaces Direct является ответом Microsoft на VMware vSAN .
Требования к Storage Spaces Direct
В S2D поддерживаются следующие типы устройств хранения:
- Обычные HDD диски (SAS)
- SATA / SAS SSD диски
- NVMe (Non-Volatile Memory Express) — SSD диски, подключенные не через классический интерфейс SATA/SAS, а через более скоростную шину PCI Express
В дальнейшем разные типы дисков можно комбинировать в различные массивы (по скорости и емкости), например, логично расположить кэш и транзакционные логи приложений на скоростных NVMe SSD, медленные и недорогие диски лучше использовать для хранения больших файлов, доступ к которым не требует повышенной производительности и т.д.
Для работы S2D нужно организовать отказоустойчивый кластер, к узлам которого выдвигаются следующие требования:
Требования к узлам кластера S2D
- Редакция Windows Server 2016 — DataCenter
- На серверах нужно установить следующие компоненты: роли Hyper-V, File Services и фичу Failover Clustering Примечание . Не забудьте отключить SMB 1 : Remove-WindowsFeature –Name FS-SMB1 -Verbose -Restart
- Как минимум два сервера в кластере (в идеале не менее 4 для обеспечения высокой отказоустойчивости)
- Наличие дисков. Помимо системного должен иметь как минимум один физический диск на каждом узле. Все диски, которые планируется добавить в хранилище Storage Spaces Direct должны быть не размечены (не должны быть разбиты и не содержать таблицы разделов)
Итак, предполагаем, что у нас уже собран отказоустойчивый кластер из двух серверов с Windows Server 2016 (можно собрать такой кластер даже в рабочей группе ).
Примечание . Если в кластере четное число серверов, придется настроить ресурс-свидетель. Если количество узлов нечетное – свидетель не нужен.
Перед тем, как включить Storage Spaces Direct, проверьте, что ваши диски можно объединить в такой пул.
Читайте также: