Sas 9300 4i настройка

Обновлено: 04.07.2024

Твердотельные диски с интерфейсом Serial-Attached SCSI (SAS) отличаются простой процедурой установки. Чтобы обеспечить правильную работу этих дисков, не требуется производить установку каких-либо переключателей, терминаторов или выполнять другие настройки.
Каждый твердотельный диск с интерфейсом SAS снабжен отдельным кабелем, который подключается напрямую к хост-адаптеру (контроллеру) SAS. С некоторыми видами контроллеров SAS может использоваться кабель для подключения нескольких устройств (или порт-репликатор). В отличие от дисков с интерфейсом (Parallel) SCSI, в данном случае нет необходимости назначать идентификаторы, так как каждый диск подключается к отдельному порту и все идентификаторы назначаются контроллером.

Диски SAS можно использовать одновременно с дисками SCSI или Serial ATA (SATA), если материнская плата и хост-адаптер поддерживают оба эти интерфейса. Более того, при наличии подходящих портов можно подключать к контроллеру диски SATA одновременно с дисками SAS (однако диски SAS, подключенные к контроллеру SATA, работать не будут).

Конфигурация BIOS

В большинстве современных компьютеров благодаря программам настройки системы (CMOS или BIOS) обнаружение устройств осуществляется автоматически. При запуске системы будет выполнена функция автоматического обнаружения, после чего номер модели диска может появиться на экране компьютера. Номера моделей жестких дисков Seagate начинаются с букв ST.

Специальное примечание для пользователей хост-адаптера RAID. Для многих RAID-контроллеров с интерфейсом SAS требуется назначить диск для массива, чтобы операционная система смогла работать с диском. Для получения информации о назначении диска для массива см. документацию к контроллеру SAS.

Прочие рекомендации

Убедитесь, что каналы SAS включены. В большинстве системных утилит настройки BIOS существует возможность отключения портов SAS. Если контроллер не определяет диск, убедитесь, что все порты SAS включены.

Меры предосторожности/защита от электростатики

Твердотельные диски требуют бережного отношения. Предохраняйте диск от ударов и тряски. Берите дисковод только за края корпуса.
Электроника диска чрезвычайно чувствительна к статическому электричеству. До установки храните диск в антистатической упаковке. Наденьте контактную манжету с заземлением. Убедитесь, что контактирующие с диском элементы не несут заряда статического электричества. Не используйте омметр на монтажных платах.
Соблюдайте осторожность при работе с оборудованием, находящимся под напряжением.
Не разбирайте жесткий диск, в противном случае гарантийные обязательства будут аннулированы.
Диск для гарантийной замены следует возвращать в комплекте, даже если неисправны только отдельные элементы.
Не надавливайте на монтажную плату или на верхнюю крышку диска и не прикрепляйте на них ярлыки.

Инструкции по установке

Большинство систем, поддерживающих интерфейс SAS, снабжены лотками или подставками для диска, которые позволяют устанавливать диск «на горячую».

Закрепите диск на лотке или подставке при помощи четырех монтажных винтов 6-32 UNC. Не затягивайте винты слишком сильно. Диск можно установить как горизонтально, так и вертикально.

Установите лоток или подставку в соответствующий отсек системы. Таким образом диск подключится к разъему SAS. Разъем SAS, как правило, расположен на задней панели устройства.

Диск поставляется отформатированным на низком уровне. Выполнять низкоуровневое форматирование еще раз не требуется, за исключением случаев проведения диагностики контроллера. Процесс низкоуровневого форматирования нельзя прерывать, так как это может привести к повреждению диска.

Предусмотрите защиту на случай сбоя питания и отключения электроэнергии во время форматирования.

Вы также можете воспользоваться ПО Seagate SeaTools для DOS, чтобы выполнить полное форматирование. Но следует помнить, что данный инструмент может не работать с дисками, подключенными к RAID-массиву.

Форматирование диска ведет к стиранию всех данных. Это следует принимать во внимание, приступая к форматированию. Диски, на которых хранится информация, следует форматировать только в том случае, если вы намерены удалить все данные. Компания Seagate не несет ответственности за потерю данных.

Операционные системы

Твердотельные диски совместимы с различными операционными системами. Информация о форматировании и подготовке жесткого диска для работы в конкретной операционной системе содержится в руководстве пользователя ОС или хост-адаптера (контроллера) SAS.

«Горячая замена» диска

Функция горячей замены позволяет устанавливать и извлекать диск, не выключая систему.

Параметры раскрутки диска

Большинство систем, к которым подключено всего несколько дисков, позволяют всем дискам запускаться сразу же в момент подачи на них питания. Системы с большим числом дисков можно настроить так, чтобы диски включались в разное время. Это позволит избежать перегрузки системы питания компьютера.

Информация о том, как изменить параметры запуска диска, содержится в документации, входящей в комплект поставки компьютера или хост-адаптера SAS.

Устранение неисправностей

Проблема: компьютер не может распознать диск.

Убедитесь, что диск включен с помощью утилиты настройки хост-адаптера SAS.
Если это так, значит, контроллер распознает диск. Убедитесь, что драйверы контроллера SAS загрузились правильно. Инструкции по загрузке драйверов контроллера см. в документации для платы контроллера.

При установке операционной системы на жесткий диск необходимо загрузить компьютер с установочного компакт-диска операционной системы и нажать F6, когда появится соответствующий запрос (обычно такой запрос остается на экране всего несколько секунд).

Установка Windows 8/7/Vista: нажмите кнопку Load Driver, когда это будет предложено. Описанная выше процедура с нажатием клавиши F6 может потребоваться или не потребоваться в зависимости от конкретных условий.

Список инструментов управления для LSI/Avago

Правильно подобранная утилита, может выполнять поставленную задачу в разы удобнее и быстрее, и знание всех инструментов является прямой обязанностью любого системного администратора.

Кстати я уже делал похожие подборки по инструментам управления и настройки для серверов IBM, Supermicro и HP

Утилита LSI Storage Authority

Про LSA (LSI Storage Authority) я уже делал подробнейший обзор. На текущий момент, это флагманский инструмент имеющий графический интерфейс управления, прямо из вашего браузера, что делает его кросплатфомным, убирающим привязку к операционной системе. Что хорошо, что утилита работает не на медленном Java, а на HTML5, что делает ее очень удобной.

Вот так выглядит общий дашборд управления, на нем вы увидите список ваших устройств представленных на сервере, в моем примере Controller ID: 0 LSI MegaRAID SAS 9280-16i4e.

Вот так выглядит информация по вашим виртуальным и физическим дискам. Хочу отметить, что LSI Storage Authority показывает больше информации по свойствам физических дисков, тут вы легко обнаружите:

Status - Online
Exposed As - PHYSICAL-DEVICE
Product ID - THNSF8480CCSE
Vendor ID - ATA
Serial Number - Y7PS10C2TBJT
Shield Counter - 0
Device ID - 64
Usable Capacity - 446.62GB Capacity - 447.13GB
less properties - General Properties
SAS Address 0 - 0x500062b200185da2
Negotiated Link Speed - 6G
Drive Speed - 6G
Temperature - 25C
Revision Level - DAC9
Power Status - On
Native Command Queueing Capable - No
Physical Sector Size - 512B
SCSI UNMAP - Disabled
Enclosure Properties
Enclosure ID - 245
Enclosure Model - Backplane
Enclosure Location - Internal
Enclosure Connector - N/A
Drive Security Properties
Full Disk Encryption Capable - No
Full Disk Encryption Type - NONE
Protection Information Properties
Protection Information - Incapable

Утилита MegaRAID Storage Manager

MegaRAID Storage Manager - это более старая утилита, с которой мы уже много взаимодействовали в предыдущих статьях. Например мы устанавливали MegaRAID Storage Manager на ESXI 5.5. Вот так выглядит базовый дашборд со сводной информацией, о RAID контроллерах LSI/Avago. Тут вы увидите:

Общий объем ваших дисков, в моем примере это 5,3 ТБ
Состояние контроллера (Status) - если все хорошо, то статус должен быть Optimal
Drives - количество физических дисков
Drive groups - количество датасторов
Virtual Drives - количество виртуальных дисков

Тут же есть область "Action", позволяющая загрузить конфигурацию, обновить прошивку RAID контроллера, настроить звуковой сигнал предупреждения. Справа есть ссылки на документацию. Снизу вы увидите текущие события на вашем контроллере LSI/Avago. Вкладка "Physical" покажет ваши физические диски, выбрав любой из них вы увидите дополнительные свойства.

Вкладка "Logical" позволяет уже взаимодействовать с логическими сущностями. Например вы можете добавить HDD/SSD в существующий RAID массив. Вы легко можете изменить свойства любого Virtual Drive, изменить вид кэширования, включить или отключить инициализацию.

Методы создания различных видов RAID через MSM я подробно описывал. Чаще всего есть поддержка всех видов, но в некоторых контроллерах RAID 50 и 60 нужно разблокировать с помощью специального кода.

Утилита StorCLI

Инструмент StorCLI - это утилита командной строки, которая имеет больший функционал в отличии от графических аналогов LSA и MSM. Утилита очень простая и гораздо удобнее, по крайней мере с случае с Vmware ESXI, на которую порой установить MSM/LSA. это целая эпопея.

RAIDIX — программная СХД или SDS (Software Defined Storage), которая позволяет строить на базе стандартного серверного оборудования надежные, производительные и отказоустойчивые хранилища данных.

В данной статье мы хотим рассказать о том какие требования к железу предъявляет RAIDIX, описать варианты развертывания нашего SDS, привести примеры аппаратных конфигураций СХД на базе RAIDIX и возможные сферы их применения.

Требования к оборудованию

Для развертывания SDS RAIDIX потребуется следующее серверное оборудование:

1-2 процессора Intel Xeon подходящей модели и необходимый объем ОЗУ;
один или несколько SAS HBA-адаптеров для подключения внутренней и/или внешних дисковых корзин; аппаратные RAID-контроллеры с RAIDIX не совместимы;
один или несколько интерфейсов для синхронизации кэша в двухконтроллерной конфигурации; есть несколько вариантов: SAS, InfiniBand, Ethernet; возможно дублирование интерфейсов; в одноконтроллерной конфигурации данные интерфейсы не нужны;
интерфейсы для подключения к сети SAN и/или NAS: Ethernet, InfiniBand, FC; возможно прямое подключения к хостам (клиентам) по SAS;
интерфейсы для трафика управления и «heartbeat»; поддерживается использование выделенных или разделяемых с другими типами трафика портов Ethernet; достаточно полосы пропускания от 100Мб/с; для «heartbeat» рекомендуется использовать выделенные интерфейсы с прямым подключением между контроллерами, это необходимо только для двухконтроллерной конфигурации;
любые стандартные модели HDD SAS/SATA, без ограничений по объёму, скорости, форм-фактору или производителю;
серверная платформа, подходящая для установки перечисленного выше оборудования.

Существует лист совместимости, перечень рекомендуемого и протестированного оборудования.

Варианты развертывания

RAIDIX предполагает два варианта развертывания: одно- и двухконтроллерный. В первом варианте ПО RAIDIX устанавливается на один физический сервер, выполняющий роль контроллера СХД. Диски объединяются в отказоустойчивый RAID-массив, однако сам сервер и некоторые его компоненты образуют единые точки отказа. Это может быть приемлемо для некритичных задач.

Двухконтроллерная конфигурация предполагает установку ПО RAIDIX на два идентичных физических сервера, каждый из которых становится контроллером СХД. Это могут быть отдельные серверные платформы, либо единая платформа с двумя серверными узлами (cluster-in-a-box). Оба контроллера физически подключаются к единому дисковому пулу, размещаемому на внутренних и внешних дисковых корзинах. RAIDIX объединяет два сервера в отказоустойчивый active-active кластер, кэш контроллеров синхронизируется по выделенным интерфейсам.

В нормальном режиме нагрузка равномерно распределяется по двум контроллерам — половина созданных на дисковом массиве томов обслуживается одним контроллером, другая половина — вторым контроллерам. Если по какой-то причине один из узлов–контроллеров выйдет из строя, вся нагрузка в автоматическом режиме, без прерываний и потери данных переключится на «оставшийся в живых» контроллер. Данное решение исключает наличие единых точек отказа и подходит для критичных проектов, чувствительных к простоям.

Двухконтроллерная платформа RAIDIX

В качестве хорошего примера серверной платформы для двухконтроллерной конфигурации СХД RAIDIX можно привести решение AIC HA401-LB2. Это 4U платформа для высокодоступных серверов хранения (cluster-in-a-box) с двумя идентичными серверными узлами, дублированными блоками питания и внутренней дисковой корзиной на 24 HDD 3,5” c возможностью горячей замены. Каждый серверный узел (контроллер СХД) поддерживает два процессора Intel Xeon, до 2ТБ ОЗУ и 6 PCIe-слотов. Оба серверных узла оснащены парой встроенных портов 1GbE и парой встроенных портов 10GbE. Этого достаточно для развертывания очень производительной СХД с ёмкостью от двух десятков до несколько сотен дисков. Данную платформу можно назвать одной из рекомендуемых, она успешно используется во многих проектах на базе RAIDIX.

Пару встроенных портов 1GbE удобно использовать для управления СХД и передачи «heartbeat» между контроллерами. Пара встроенных портов 10GbE может быть использована для подключения к сети хранения: iSCSI или NAS-протокол.

Каждый контроллер платформы AIC HA401-LB2 имеет 6 слотов расширения PCIe 3.0. Для получения максимальной пропускной способности хранилища данные слоты PCIe должны быть поровну распределены для организации трех типов подключений, предполагающих установку соответствующих адаптеров:

2 адаптера для подключения СХД к сети хранения;
2 адаптера для синхронизации кэша контроллеров;
2 адаптера для подключения внешних дисковых полок.

Теоретический максимум пропускной способности шины PCIe 3.0 х8 составляет 7,9ГБ/с. Практика показывает, что реальная пропускная способность такого интерфейса составляет не более 6,5-7,5ГБ/с. Если усреднить данное значение до 7ГБ/с, то с двух адаптеров для подключения внешних дисковых полок можно выжать 14ГБ/с — это максимально возможная пропускная способность RAIDIX для данной аппаратной платформы.

При указанном выше распределении PCIe-слотов к данной платформе напрямую можно подключить от двух до восьми дисковых полок:

доступно по два SAS HBA-адаптера на контроллер,
по 2 (SAS 9300-8E) или 4 (SAS 9305-16E) SAS-интерфейса (mini-SAS HD) на SAS HBA-адаптер в зависимости от модели.

Дальнейшее увеличение объёма и повышение пропускной способности хранилища RAIDIX возможно с использованием аппаратных платформ с большим количеством PCIe-слотов х8 (и/или поддержкой PCIe х16) для установки необходимого числа сетевых и дисковых адаптеров.

Задачи не требующие большой производительности и объёмов СХД позволяют ограничиться меньшим количеством адаптеров, использовать все 6 PCIe-слотов не нужно, если нет такой необходимости.

Например, если для проекта хватает внутренней дисковой корзины AIC HA401-LB2, будет достаточно поставить по одному адаптеру на контроллер для синхронизации кэша. При необходимости можно добавить 1-2 сетевых адаптера на контроллер.

В случае подключения одной дисковой полки на 60 HDD для получения пропускной способности 10ГБ/с (на 2 контроллера) можно обойтись четырьмя слотами PCIe на контроллер:

1 адаптер для подключения СХД к сети хранения (2 порта 10GbE + 2 встроенных порта 10GbE, в сумме 40Гб/с или 5ГБ/с на контроллер);
2 адаптера для синхронизации кэша контроллеров;
1 адаптер для подключения внешних дисковых полок.

спроектировать оптимальное хранилище для каждой конкретной задачи;
подобрать только нужные компоненты;
предусмотреть возможность расширения.

Примеры конфигураций СХД на базе RAIDIX

Двухконтроллерная конфигурации RAIDIX на 24 HDD 3,5”

При желании можно сделать одну большую группу RAID-7.3 или RAID-6 на 24 диска, но активным будет только 1 контроллер. Соответственно, двух встроенных портов 10GbE может не хватить, придется устанавливать дополнительные сетевые интерфейсы на каждый контроллер: по двухпортовой карте 10GbE либо FC-адаптеры.

Для подключения внутренней дисковой корзины можно использовать встроенный в платформу (материнскую плату) 3008 SAS HBA-адаптер. Для синхронизации кэша с запасом хватит по одному SAS HBA-адаптеру Broadcom SAS 9300-8e на контроллер.

Спецификация на 24 HDD 3,5” 10ТБ на встроенных интерфейсах 10GbE

Компонент	Модель	Кол-во, шт
Серверная платформа	AIC HA401-LB2	1
Процессор	Intel Xeon E5-2620 V4 8core 2.1Ghz	2
ОЗУ	Crucial by Micron DDR4 16GB	4
Загрузочные системные носители	Intel SSD DC S3500 Series (160GB, 2.5'' SATA 6Gb/s) SSDSC2BB160G401	4
SAS HBA-адаптер	Broadcom SAS 9300-8e	2
Кабели для синхронизации кэша	mini-SAS HD (SFF-8644) to mini-SAS HD (SFF-8644)	2
HDD	HGST Ultrastar HE10 (3.5’’, 10TB, 256MB, 7200 RPM, SAS 12Gb/s)	24
Лицензия RAIDIX	На 26 дисков, двухконтроллерная	1

Двухконтроллерная конфигурации RAIDIX на 84 HDD 3,5”

Максимальная пропускная способность. К использованной в предыдущей спецификации серверной платформе необходимо добавить внешнюю дисковую полку на 60 HDD 3,5”. С внутренней полки снимаем 3,5ГБ/с, с внешней 6,5ГБ/с. Итого, нужно отдать и синхронизировать 10ГБ/с.

Полезная ёмкость: 691,22 ТБ для RAID-6 и 654,84 ТБ для RAID-7.3

Для подключения внутренней дисковой корзины продолжаем использовать встроенный в платформу (материнскую плату) 3008 SAS HBA-адаптер. Для подключения внешней корзины и синхронизации кэша понадобится по три HBA-адаптера Broadcom SAS 9300-8e на контроллер: один для подключения дисков, два для синхры.

Подключение СХД к сети хранения можно организовать несколькими способами, в зависимости от инфраструктуры и требований проекта.

Вариант-1, iSCSI 10GbE. Для того, чтобы СХД выдала наружу 10ГБ/с (или 80Гб/с) понадобится как минимум 4 порта 10GbE на контроллер. С учетом 2х встроенных в платформу портов 10GbE понадобится установить на каждый контроллер по одному 2х-портовому адаптеру 10GbE. Однако в таком случае при падении одного контроллера, второй сможет выдать лишь половину пропускной способности массива — 40Гб/с. Поэтому в идеале необходимо установить по три 2х-портовых адаптера 10GbE на контроллер — 80Гб/с с контроллера.

Спецификация на 84 HDD 3,5” 10ТБ, внешние интерфейсы 10GbE

Компонент	Модель	Кол-во, шт
Серверная платформа	AIC HA401-LB2	1
Процессор	Intel Xeon E5-2637 v4 4core 3.5Ghz	4
ОЗУ	Crucial by Micron DDR4 32GB	8
Загрузочные системные носители	Intel SSD 240Gb S3520 серия SSDSC2BB240G701	4
SAS HBA-адаптер	Broadcom SAS 9300-8e	6
Кабели для синхронизации кэша	mini-SAS HD (SFF-8644) to mini-SAS HD (SFF-8644)	4
HDD для внутренней корзины	HGST Ultrastar HE10 (3.5’’, 10TB, 256MB, 7200 RPM, SAS 12Gb/s)	24
Внешняя дисковая полка	Дисковая полка 60X10TB 4U60 G1 1ES0093 HGST	1
Адаптеры 10GbE	Intel Ethernet CNA X710 Series dual port 10GbE	6
Лицензия RAIDIX	На неограниченное количество дисков, двухконтроллерная	1

Вариант-2, FC 16Gbps. Компромиссный вариант по 4 порта 16GbFC на контроллер. Получаем 128Гб/с на два контроллера и 64Гб/с при отказе 1 контроллера (не 80Гб/с нужные в идеале, но тоже неплохо).

Спецификация на 84 HDD 3,5” 10ТБ, внешние интерфейсы 16GbFC

Компонент	Модель	Кол-во, шт
Серверная платформа	AIC HA401-LB2	1
Процессор	Intel Xeon E5-2637 v4 4core 3.5Ghz	4
ОЗУ	Crucial by Micron DDR4 32GB	8
Загрузочные системные носители	Intel SSD 240Gb S3520 серия SSDSC2BB240G701	4
SAS HBA-адаптер	Broadcom SAS 9300-8e	6
Кабели для синхронизации кэша	mini-SAS HD (SFF-8644) to mini-SAS HD (SFF-8644)	4
HDD для внутренней корзины	HGST Ultrastar HE10 (3.5’’, 10TB, 256MB, 7200 RPM, SAS 12Gb/s)	24
Внешняя дисковая полка	Дисковая полка 60X10TB 4U60 G1 1ES0093 HGST	1
Адаптеры 16GbFC	QLE2672-CK — Fibre Channel 16Gb HBA dual port Qlogic QLE2672, PCIe 3.0 x8, 16/8/4, 2xSFP+ SR	4
Лицензия RAIDIX	На неограниченное количество дисков, двухконтроллерная, с поддержкой FC	1

Двухконтроллерная конфигурации RAIDIX на 264 HDD 3,5”

Максимальная пропускная способность — 13-14 ГБ/с. Определяется пропускной способностью PCIe 3.0 х8 (6,5-7 ГБ/с на слот).

Полезная ёмкость: 2,183 ПБ для RAID-6 и 2,092 ПБ для RAID-7.3. Используем ёмкость внутренней дисковой корзины платформы и 4 внешних дисковых полки 4U на 60 HDD 3,5’’.

Для подключения внутренней дисковой корзины продолжаем использовать встроенный в платформу (материнскую плату) 3008 SAS HBA-адаптер. Для подключения внешних полок используем по два HBA-адаптера Broadcom SAS 9305-16e на контроллер. Для синхронизации кэша понадобится по два HBA-адаптера Broadcom SAS 9300-8e на контроллер. Итого на контроллерах задействовано четыре PCIe-слота из шести.

Вариант-1, iSCSI 10GbE. На каждый контроллер можно установить по 2 двухпортовых адаптера 10GbE, с учетом двух встроенных портов получаем по шесть интерфейсов 10GbE на контроллер. Общая пропускная способность сетевых подключений платформы составит 15ГБ/с, что с запасом покрывает общую пропускную способность конфигурации (13-14ГБ/с). Однако, при падении одного контроллера, пропускная способность системы упадет до 7,5ГБ/с, поскольку останется только половина портов 10GbE.

Спецификация на 264 HDD 3,5” 10ТБ, внешние интерфейсы 10GbE

Компонент	Модель	Кол-во, шт
Серверная платформа	AIC HA401-LB2	1
Процессор	Intel Xeon E5-2643 v4 6core 3.4Ghz	4
ОЗУ	Crucial by Micron DDR4 32GB	16
Загрузочные системные носители	HGST Ultrastar (2.5’’, 600GB, 128MB, 10000 RPM, SAS 12Gb/s) HUC101860CS4204	4
SAS HBA-адаптер	Broadcom SAS 9300-8e	4
SAS HBA-адаптер	Broadcom SAS 9305-16e	4
Кабели для синхронизации кэша	mini-SAS HD (SFF-8644) to mini-SAS HD (SFF-8644)	4
HDD для внутренней корзины	HGST Ultrastar HE10 (3.5’’, 10TB, 256MB, 7200 RPM, SAS 12Gb/s)	24
Внешняя дисковая полка	Дисковая полка 60X10TB 4U60 G1 1ES0093 HGST	4
Адаптеры 10GbE	Intel Ethernet CNA X710 Series dual port 10GbE	4
Лицензия RAIDIX	На неограниченное количество дисков, двухконтроллерная	1

Вариант-2, FC 16Gbps. Устанавливаем по 4 порта 16GbFC на контроллер. Общая пропускная способность сетевых подключений платформы составит 16ГБ/с, что с запасом покрывает общую пропускную способность конфигурации (13-14ГБ/с). При падении одного контроллера, пропускная способность системы снижается до 8ГБ/с.

Спецификация на 264 HDD 3,5” 10ТБ, внешние интерфейсы 16GbFC

Компонент	Модель	Кол-во, шт
Серверная платформа	AIC HA401-LB2	1
Процессор	Intel Xeon E5-2643 v4 6core 3.4Ghz	4
ОЗУ	Crucial by Micron DDR4 32GB	16
Загрузочные системные носители	HGST Ultrastar (2.5’’, 600GB, 128MB, 10000 RPM, SAS 12Gb/s) HUC101860CS4204	4
SAS HBA-адаптер	Broadcom SAS 9300-8e	4
SAS HBA-адаптер	Broadcom SAS 9305-16e	4
Кабели для синхронизации кэша	mini-SAS HD (SFF-8644) to mini-SAS HD (SFF-8644)	4
HDD для внутренней корзины	HGST Ultrastar HE10 (3.5’’, 10TB, 256MB, 7200 RPM, SAS 12Gb/s)	24
Внешняя дисковая полка	Дисковая полка 60X10TB 4U60 G1 1ES0093 HGST	4
Адаптеры 16GbFC	QLE2672-CK — Fibre Channel 16Gb HBA dual port Qlogic QLE2672, PCIe 3.0 x8, 16/8/4, 2xSFP+ SR	4
Лицензия RAIDIX	На неограниченное количество дисков, двухконтроллерная, с поддержкой FC	1

Примечание

В перечисленных выше примерах конфигураций для трафика управления и «heartbeat» используются встроенные порты 1GbE.

Рассмотренные примеры конфигураций RAIDIX не предполагают использование spare-дисков для получения максимальной полезной ёмкости хранилища.

RAIDIX поддерживает выделение spare-дисков и обеспечивает переключение на них в случае отказов. Использование spare-дисков и их количество зависит от условий проекта и определяется на усмотрение заказчика, общие рекомендации дать сложно. При отсутствии свободных слотов под spare-диски рекомендуется держать необходимое количество дисков в «холодном» резерве для их оперативной замены вручную.

Сфера применения

Установка RAIDIX на описанные выше варианты аппаратных платформ позволяет получить следующие преимущества:

Подключение схем баз данных к библиотекам в метаданных SAS — очень важный этап в настройке функциональной и удобной среды для бизнес-пользователей. Эта задача может быть довольно сложной для неподготовленного администратора. В этой статье рассматриваются ключевые параметры, которые часто остаются незамеченными, но могут иметь большое значение. Использование неправильных параметров может привести к снижению производительности базы данных или даже к полной блокировке базы данных, в зависимости от количества подключений.

Введение

Когда я начал управлять своей первой средой SAS с помощью SAS management console, я быстро понял, что подключение внешних баз данных может быть сложной задачей. Настройка сервера довольно проста, но настройка библиотек — совершенно другое дело. Мастер создания библиотеки не сложен, но на вкладке с расширенными параметрами отображаются несколько параметров, которые изменяются от одной СУБД к другой. Игнорирование этих параметров и использование параметров по умолчанию приведет к проблемам с производительностью.

В течение многих лет я старался найти лучший способ подключения внешних баз данных, особенно в том, что касается определения библиотеки. Через некоторое время я понял, что лучше создать набор рекомендаций, а затем улучшить его совместно с другими экспертами.

То, что вы найдете в этой статье — результат многолетней работы с подключениями к внешним базам данных. Это мой скромный вклад в создание рекомендаций для подключения СУБД в SAS management console. Мы не будем рассматривать настройку параметров для серверной части в SAS management console, так как она не представляет сложностей. Начнем с того, что, когда это возможно, следует использовать собственные коннекторы, а не коннекторы ODBC. Использование собственных коннекторов, как правило, позволяет SAS выполнять больший набор действий с СУБД.

Эта статья поможет понять, как SAS обрабатывает запросы к внешним базам данных, и оптимизировать свой код.

Настройка базы данных

После того как соединение с сервером определено в разделе server manager section в SAS management console, можно указать базовое определение библиотеки. Чтобы запустить мастер определения библиотеки, щелкните правой кнопкой мыши на "Libraries" в разделе "Data Library Manager".

Рисунок 1. Запуск мастера создания новой библиотеки

Настройка первой библиотеки не представляет сложностей за исключением выбора сервера, который может получить доступ к вашей библиотеке. Сервер необходимо выбрать сразу после указания типа библиотеки (Base, Oracle . ). В стандартной конфигурации или конфигурации по умолчанию можно выбрать один из двух следующих серверов:

Если вы новичок в администрировании SAS и во всем мире метаданных SAS, скорее всего, вы не знаете, в чем состоит разница между этими двумя серверами. Если это так, выберите SASApp. Этот сервер подходит для обычного использования большинством пользователей (SAS/Enterprise Guide, SAS/Enterprise Miner . ).

Открытие ящика пандоры

При настройке новой библиотеки в мастере указан набор основных параметров, которые представляют основу для работы библиотеки. В большинстве случаев основных параметров достаточно для работы библиотеки. Однако для обеспечения надлежащей производительности и функциональности библиотеки решающее значение имеет настройка расширенных параметров.

Чтобы получить доступ к дополнительным параметрам, откройте свойства новой библиотеки. Доступ к этим свойствам также можно получить во время начальной настройки библиотеки. Изменять свойства рекомендуется поэтапно. Также следует отметить, что при настройке дополнительных параметров во время начальной настройки возможны проблемы в более ранних версиях SAS management console.

Предварительно назначенные (PRE-ASSIGNED) библиотеки

Первый из дополнительных параметров определяет, является ли библиотека предварительно назначенной. Если библиотека не была предварительно назначена, пользователь должен настроить соединение перед использованием библиотеки. В этой статье мы сосредоточимся исключительно на предварительно назначенных библиотеках.

Второй пункт настройки — выбор типа "Предварительное назначение" (Pre-Assignment). Очень важно понимать различие между возможными значениями и понимать поведение SAS в каждом случае.

С помощью собственных механизмов библиотеки (By native library engines)

Этот вариант выбран по умолчанию. Для библиотек СУБД этот параметр позволяет обеспечивать безопасность на стороне базы данных. Для соединений с внешними базами данных следует выбирать именно этот параметр.

С помощью механизма библиотеки метаданных (By metadata library engine)

Этот вариант используется для управления доступом на уровне метаданных. Для базовых библиотек SAS следует использовать этот вариант, но когда дело доходит до внешних библиотек, необходимо соблюдать осторожность. Управление безопасностью в таких соединениях рекомендуется выполнять на источнике (в реальной базе данных).

С помощью внешней конфигурации (By external configuration)

Этот вариант следует учитывать, если вы хотите вынести конфигурацию библиотек из метаданных (например: файл autoexec). Пример использования — среда с несколькими серверами, связанными с помощью SAS/Connect.

На первый взгляд, может показаться, что metadata library engine не имеет очевидных недостатков. Однако, важно понимать как SAS работает с этими соединениями. Для этого типа взаимодействия информация о безопасности представлена в метаданных. Кроме того, в некоторых случаях SAS может обрабатывать запросы самостоятельно, а не передавать их в базу данных. В этих случаях нельзя использовать индексы DBMS, которые обычно используются для объединения данных. Это приводит к увеличению объема данных, отправляемых по сети, увеличению количества ресурсов, требуемых для работы SAS, и к увеличению времени, требуемого для обработки запроса СУБД и процессов SAS.

Рисунок 3. Представление передачи запроса СУБД

Обратите внимание, что при использовании metadata library engine обработка запросов может происходить по-разному (рис.3). В SQL Pass through обработка запроса передается на сторону СУБД, а в SAS driven join SQL они обрабатываются на стороне SAS

Чтобы гарантировать правильное поведение при подключении SAS к СУБД, необходимо выполнить тестирование. Очень удобный параметр для тестирования — “OPTIONS SASTRACE='. d' SASTRACELOC=SASLOG NOSTSUFFIX;”. При указании этого параметра в журнал SAS будут записаны подробные сведения об обработке запроса. Ниже приведен пример выходных данных при использовании этого параметра:

На вкладке "Соединение" содержатся параметры, с помощью которых вы сможете задать количество активных подключений к вашей внешней базе данных. С параметрами по умолчанию SAS будет устанавливать по одному соединению с внешней базой данных для каждой библиотеки. В некоторых случаях соединения так же возникают при обработке sql запросов. Количество этих соединений быстро растет. Количество сессий важно ограничить, так как большинство администраторов баз данных ограничивают количество одновременных подключений. По достижении этого ограничения создать новые соединения будет невозможно. Поскольку некоторые пользователи запускают сеансы только для взаимодействия с таблицами SAS, для этих пользователей устанавливать подключения не нужно.

Один из эффективных способов контроля количества сессий — использование параметра "отсрочки". При использовании этого параметра библиотеки подключаются только при использовании в первый раз. Таким образом, если библиотека не используется во время сессии SAS, для нее не будет выполнено подключение к базе данных.

Подключения утилит — это специальные дополнительные подключения, которые используются некоторыми СУБД, такими как DB2 и Netezza. Каждая такая библиотека может создавать собственные служебные подключения. После открытия эти подключения не освобождаются, пока не будет закрыт сеанс SAS. К счастью, с помощью расширенных параметров можно закрывать эти сеансы, когда подключение больше не требуется.

Тип подключения по умолчанию — SHAREREAD. Этот параметр можно использовать, чтобы ограничить количество активных подключений к СУБД. С ним используется одно и то же единственное подключение для всех операций чтения базы данных. Этот результат также можно получить с помощью групп подключений. Параметр "Имя группы подключений" позволяет администратору сгруппировать разные библиотеки вместе. Для этого необходимо указать одно и то же имя группы в этом поле. Этот параметр не требуется использовать в библиотеках с метаданными, однако с помощью такой группы легко идентифицировать библиотеки, подключающиеся к общей базе данных.

Обратите внимание, что для записи и изменения данных для задачи будет создано отдельное подключение.

При необходимости записи во внешнюю базу данных рекомендуется вручную настроить библиотеку с соответствующими параметрами. Оптимизация позволяет выполнять пользовательские настройки производительности, что невозможно при использовании статической общей библиотеки. Эта вкладка особенно полезна.

Если вы планируете изменить эти параметры, обязательно обратитесь к администратору базы данных. Изменение некоторых параметров может иметь опасные последствия, поэтому перед изменением убедитесь в том, что вы знаете, что делаете.

Сводим все вместе

Мы рассказали о различных параметрах, которые подходят для того, чтобы ограничить количество активных подключений к внешним базам данных. Для конфигурации с одной библиотекой эти приемы будут эффективными. Однако, когда дело доходит до подключения нескольких схем из одной удаленной СУБД к библиотекам, возникают различные проблемы. Необходимо гарантировать, что запросы будут отправляться в СУБД даже при использовании разных библиотек.

Чтобы обеспечить стабильность, все библиотеки, подключенные к базе данных, должны иметь одинаковые параметры и должны быть подключены к одному серверу базы данных. Небольшое различие между библиотеками (например, если вы забыли указать чтение незафиксированных данных) может заставить SAS обрабатывать объединение самостоятельно вместо того, чтобы передать его на обработку СУБД.

Чтобы гарантировать, что определения библиотек будут одинаковыми для заданной базы данных, разработайте рекомендации по определению библиотек и придерживайтесь их. Каждая база данных должна иметь свой собственный набор параметров. Документацию по настройке также можно найти в руководствах.

Другой способ — открыть инструкции для этих библиотек в SAS/Enterprise Guide и сравнить их. Инструкции доступны в свойствах библиотеки (контекстное меню). Как вы можете видеть в приведенном ниже примере, в разделе "Параметры" показаны подробные параметры подключения.

Рисунок 7. Окно свойств библиотеки в SAS / Enterprise Guide.

Заключение

Подключение внешних баз данных — нетривиальная задача. Если делать это без надлежащей осторожности, это может привести к серьезному изменению производительности. С глубоким знанием параметров библиотеки первый логичный шаг — выбор рекомендаций. Как и с базовым программированием для SAS, важно не вдаваться в детали низкого уровня, так как точки зрения различных экспертов могут быть различными. Необходимо определить рекомендации высокого уровня и переходить к деталям только тогда, когда это необходимо.

Первое, с чего нужно начать — постоянство. Используйте один и тот же рецепт при создании библиотек. Для удобства используйте один и тот же префикс для библиотек, которые указывают на схемы из одной базы данных. Так конечные пользователи смогут понять, с чем они работают. Используйте собственные механизмы библиотек для предварительно назначенных библиотек и делайте это для всех библиотек, подключенных к одной и той же СУБД. Убедитесь, что это постоянство относится к индивидуальным параметрам библиотек, подключенных к одной и той же внешней базе данных.

Во-вторых, настройте все возможные параметры (например, параметр отсрочки), чтобы ограничить количество подключений и общее время активности.

Информационные витрины данных часто используются совместно с другим программным обеспечением для бизнес-аналитики или для создания отчетов. Влияние на других пользователей SAS из-за блокировки (вследствие ограничения количества подключений к базе данных) уже является проблемой. Ситуация может ухудшиться, если затрагиваются пользователи, которые даже не используют SAS.

Наконец, используйте конкретные параметры для вашей СУБД. При необходимости уделите некоторое время тому, чтобы изучить и изменить эти параметры. Это поможет снизить влияние на используемые вами базы данных.

Читайте также: