Lsi logic megaraid sas 9341 4i обзор

Обновлено: 07.07.2024

В конце 2013 года, компания LSI представила два новых набора продуктов: первый – это 12-гигабитные RAID-контроллеры, второй – новые позиции в линейке FlashStorage, отличающиеся наличием более дешевой памяти CMLC. Напомним, что HBA-адаптеры от LSI поступили в продажу еще в сентябре 2013 года. Мы решили разобраться в преимуществах, которые предоставляют новые поколения контроллеров LSI.

Зачем и почему?

Итак, прежде всего, для чего необходимы данные продукты? Первое – это большие объемы данных, растущие с каждым годом. Рост данных требует от систем хранения (далее СХД) высоких скоростных показателей обработки получаемой и хранимой информации. Второе - на данный момент главным двигателем роста производительности СХД, являются твердотельные накопители (SSD). Качественные характеристики SSD на сегодняшний день существенно улучшились. Отдельные модели SSD (SAS, SATA) показывают производительность ввода/вывода на уровне 95 тыс. IOPS. Снизилась стоимость твердотельной памяти. Уже сейчас производители гарантируют стабильную работу твердотельных накопителей в течение 3-5 лет, при условии, что в день на них будет записано определенное количество данных. Это количество может варьироваться от нескольких единиц до нескольких десятков терабайт, в зависимости от модели устройства. Повышение качества твердотельной памяти позволяет полностью заменить классические магнитные диски на SSD, а не только использовать их в качестве кэша.

12-гигабитные контроллеры

Первый продукт - семейство контроллеров SAS MR 9300. Здесь представлены несколько устройств: SAS MR 9341-4I, SAS MR 9341-8i, SAS MR 9361-4i и SAS MR 9361-8i. Как видно, в связи с переходом на новую версию протокола SAS (SAS3) коды продукции претерпели небольшие изменения, вторая цифра, фигурирующая в коде, изменилась с двойки на тройку, что собственно, и означает, 12 Гигабит. Напомним значение остальных цифробуквенных значений. Итак, цифрой «9» обозначаются контролеры SAS, далее – уровень или категория продукции, например цифра «4» – это начальный уровень (entry level). Устройства, относящиеся к данному уровню, используются в малом бизнесе для почтовых и файл-серверов. Цифра «6» - это интенсивность (value), контроллеры этого уровня используются в высоконагруженных приложениях. «8» - «Feature line» - контроллеры, способные справляться с высокой нагрузкой, на рисунке видно что, к контроллеру этой серии (9380-4i4e) можно подключить как внешнюю систему хранения, так и диски внутри сервера.

Далее идет некий модификатор продукции, затем цифра обозначающая количество портов, как правило, это 4 или 8 и буквы «i» (internal) или «e» (external), означающие наличие внешних или внутренних портов. Чипы, отвечающие за всю логику контроллеров, получили своеобразные названия – для SAS MR 9341I – это LSISAS3008 (Fury - ярость), для SAS MR 9361 – это LSISAS3108 (Invader - захватчик). Учитывая то, что компания LSI первой выпустила на рынок 12-гигабитные контроллеры, такие названия чипов в этом случае пришлись очень кстати – с их помощью произошел яростный захват рынка. Основные отличия чипов: наличие/отсутствие контроллера оперативной памяти (DDR3) и как следствие возможности построить RAID уровней 5, 6, 50 и 60, одноядерный или двухъядерный вариант процессора PowerPC 476.

На данный момент нет возможности полностью перейти на технологию 12 Гигабит/с по одной простой причине – отсутствие на рынке жестких дисков, поддерживающих данный стандарт. Единственная компания, которая объявила в апреле 2013 года о производстве твердотельных накопителей на базе ячеек MLC - Western Digital. Естественно, контроллеры, поддерживающие скорость передачи данных 12 Гигабит/с обратно совместимы с 6-гигабитными дисками. Здесь, пожалуй, самым главным преимуществом контроллеров семейства SAS MR 9300 является функция DataBolt. Ее возможности в полной мере раскрываются во время использования дисков с интерфейсом 6 гигабит. DataBolt при помощи буфера объединяет фреймы от двух 6-гигабитных источников и на выходе получается один 12-гигабитный фрейм. Существующие синтетические тесты отражают работу режима DataBolt только для HBA контроллеров, в частности LSI SAS 9300-8i Host Bus Adapter. Но в HBA 9300-8i установлен такой же чип, что и в контроллере SAS MR 9341I, и как мы отметили ранее основные отличия чипов контроллеров 9341 и 9361 заключаются в наличии или отсутствии контроллера оперативной памяти и в количестве ядер процессора. Поэтому результаты этих тестов, с определенными оговорками, вполне могут быть справедливы не только для HBA, но и для контроллеров 934x и 936x. На графиках можно увидеть существенную разницу между включенным (DB on) и отключенным (DB off) режимом DataBolt. Тесты проводились в режиме последовательного чтения и последователной записи. График показывает пропускную способность в мегабайтах.

Описание стенда, на котором производились замеры:

HBA 9300-8i;
12-гигабитный экспандер (Cobra);
Windows 2008 Enterprise Server, R2 SP1;
Iometer 1.1 (глубина очереди 8);
20 шт. Seagate Savvio 15K.3, 146 GB 6G SAS, ST 9146853SS;
Сервер SuperMicro 6027R-3RF4;
64 гигабайта оперативной памяти.

DataBolt позволяет использовать старые устройства и при этом получить выгоду от 12 гигабит просто используя ту же инфраструктуру и экспандеры lsi. К сожалению, подобного решения не было при переходе с 3 гигабит на 6.

LSI Nytro XP – меньше не значит хуже

Второй продукт, о котором мы упомянули в самом начале находит свое применение в больших центрах обработки данных или по другому гипермасштабируемых средах. То, что компания LSI выпускает в области систем хранения данных PCI-E, главным образом, направленно именно на рынок больших ЦОДов.

Данный рынок характеризуется определенными требованиями:

максимальная производительность;
быстрый доступ к информации (минимальные задержки) для пользователя посредством WEB;
общая стоимость владения;
бесшовная расширяемость.

Для этого типа рынка компания LSI представляет Flash-хранилище LSI Nytro XP 6200 PCI-E. Эти контроллеры родились в ходе дискуссии с Российскими и зарубежными специалистами таких компаний как Yandex, Facebook, Amazon и многих других. Основное отличие заключалась в том, что предыдущий контроллер (Nytro) хотя и был во всех смыслах продуктом замечательным, но обладал достаточно высокой стоимостью. Как показываете практика, производительность не всегда является важным показателем для дата-центров. Поэтому стоимость за гигабайт была определяющим фактором для нового поколения продуктов. В прошлых версиях устройств использовался тип памяти EMLC (Enterprise MLC), стоимость памяти за один гигабайт составляла порядка 8 долл., что для дата-центров слишком дорого. Цена за гигабайт у новых моделей составляет примерно 2 долл. Достичь такого сильного снижения цены удалось за счет использования памяти типа CMLC (Consumer multi-level cell). Данный тип памяти уступает EMLС по объему памяти, который возможно перезаписать за единицу времени, как правило, расчет ведется в днях (2 терабайта), а так же уступает по количеству дополнительных ячеек памяти (provisioning), которые приходят на замену вышедшим из строя. С учетом того, что срок службы данных устройств рассчитывается примерно на три года, то общий объем перезаписываемых данных, составит 2-4 петабайта, против 50-90 петабайт у Flash-устройств предыдущей серии. Этих показателей вполне достаточно для дата-центров, так как они хорошо знают свою рабочую нагрузку (чтение/запись).

В семействе XP 6200 всего две платы: XP6209, представлена в формате lowprofile с объемом памяти в 1 терабайт и XP6210 – это fullprofile плата, рассчитанная на 2 терабайта. Обе платы оснащены внутренней оперативной памятью, использующейся в качестве кэша. Для защиты от потери данных в оперативной памяти, установлены конденсаторы высокой емкости, которые питают ее во время отключения электричества. Что позволяет перенести информацию данные из ОЗУ в энергонезависимый flash-модуль. Изменилось размещение flash-модулей.

Если в предыдущих моделях это были отдельные модули, которые подключались к плате контроллера через специальные переходники, то, здесь они распаяны непосредственно на плате. Но у данного семейства контроллеров отсутствуют heatsink-пластины.

Что касается показателей операций ввода/вывода, то для произвольного чтения блоками по 4k - это 140000 iops, а для произвольной записи – 45000 iops. Эти значения говорят о том, что данные устройства хранения предназначены для интенсивного чтения. Как говорилось выше, дата-центры хорошо знают свою рабочую нагрузку и, как правило, весомую часть этой нагрузки составляет именно чтение. Поэтому эти устройства хорошо зарекомендуют себя в крупных центрах обработки данных.

Здесь же присутствует улучшенный вариант технологии RAISE (Redundant Array of independence Silicon Elements), своего рода RAID - данные записываются на несколько flash модулей и могут быть восстановлены для блока или для страницы.

Потребляемая мощность для XP6209 составляет 17 Вт, для XP6210 – 20 Вт.

В моделях XP6200 сохранилась поддержка загрузки, т.е. устройство может играть роль единственного хранилища данных и на него может быть установлена операционная система. При этом заявлена поддержка всех современных ОС.

Компания LSI представила продукты, которые будут актуальны в ближайшем будущем, и обладают достаточной для большинства применений производительностью, при этом используют форм-фактор PCI-E. Отдельной похвалы заслуживают функции, которые LSI добавляет в свои устройства, тем самым расширяя их возможности (достаточно вспомнитьфункцию CacheCade в контроллерах MegaRAID, которая впоследствии выросла в отдельных продукт Nytro), добавив в новые контроллеры серии SAS MR 9300 функцию DataBolt.

Ранее мы рассматривали модельный ряд контроллеров фирмы Adaptek , в данной статье рассмотрим же конкурентов фирмы LSI ( BROADCOM ).

В таблице указаны основные характеристики контроллеров.

Модель

Внутренние порты

Внешние порты

Поддержка RAID

Оперативная память (MB)

Поддержка модуля защиты

0, 1, 10, 5, 60, 50, 60

Рассмотрим более подробно модельный ряд контроллеров LSI:

1. Бюджетные версии:

LSI контроллеры 9240-4 I и 9341-4 i имеют возможность подключения до 16 дисков, а модели 9240-8 I и 9341-8 i до 32 двух дисков. Поддерживают RAID 0/1/10/5/50. Но из-за отсутствия кэша производительность данных контроллеров не велика.

2. Следующими можем выделить данные модели:

Поддерживают данные модели RAID 0/1/10/5/50/6/60.

Из минусов можно отметить слабую производительно для работы с твердотельными накопителями и устаревшую защиту кэша (используется батарейка, которая требует периодическую замену).

3. Следующими по очереди идет модельный ряд с модулем CacheVault:

Эти модели в прошлом пользовались большой популярностью за счет добавленной поддержки флеш-защиты кэша, которая увеличила производительность контроллера. Но прогресс не стоит на месте и на смену пришли новые модели, которые смогли занять лидирующие места.

4. Последние контроллеры производителя LSI ( BROADCOM ):

Модель LSI 9361-8i имеет 8 внутренних портов и 9380-8e имеют 8 внешних портов, а модель 9361-4i в свою очередь всего 4 порта. Поддерживают RAID 0/1/10/5/50/6/60.

Так же есть модуль CacheVault. Благодаря поддержке SAS3 имеют большую производительность.

5. Рассмотим отдельно модель LSI 9250-4i. Производитель выдвигает ее как бюджетную версию и аналог моделей 6405E и 6805E от производителя Adaptec.

Основные отличия 9250-4i От 6405E и 6805E:

-Есть защита кеша;

-Объем кеша больше (512мб вместо 128мб);

-возможность превратить в модель 9260-4 i (при установки специального аппаратного ключа).

Данные контроллеры LSI часто используются в серверах.

Дополнительные опции для контроллеров MegaRAID Advanced Software (поставляется либо в виде аппаратного ключа либо электронно):

1. MegaRAID FastPath. Поставляется для моделей -9260-4 i /9260-8 i /9261-4 i /9261-8 i /9280-4i/9280-4i

2. MegaRAID CacheCade Pro 2.0. Дает возможность в массив из жестких диско добавить твердотельные накопители ( SSD ).

Контроллеры LSI ( BROADCOM ) позволят Вам создавать гибкие и экономично-эффективные решения, совместимые с твердотельным и жесткими дисками.

RAID-контроллеры LSI ( BROADCOM ) обеспечат высокую пропускную способность и максимально возможную производительность ввода / вывода.

Во второй части нашей статьи про сборку домашнего быстрого NAS, мы выбрали бюджетную материнскую плату Asus Prime J3355-C, именно из-за того, что она имеет 1 слот PCI Express 4x, в который мы установим дискретный контроллер для подключения всех винчестеров и SSD в нашей системе. Давайте рассмотрим, какие контроллеры бывают и определимся с выбором.

HBA или RAID?

Существует два типа дисковых контроллеров - Host Bus Adapter (HBA) и RAID. Первый представляет собой интерфейсную плату, имеющую несколько комбинированных внешних и внутренних портов SAS/SATA.

RAID-контроллер отличается от HBA тем, что умеет производить расчеты контрольных сумм (XOR), которые лежат в основе самых востребованных типов массивов - RAID 5 и RAID 6. Раньше эти вычисления считались очень ресурсоемкими, поэтому на RAID-контроллерах устанавливались мощные RISC-процессоры для расчета XOR. Сегодня же тренд совершенно обратный - все сложные операции берут на себя CPU компьютеров и, как показывает практика, даже дохлый Intel Atom первого поколения на программном уровне легко справляется с вычислениями контрольных сумм RAID 5/6, чего уж говорить про такие процессоры как Intel Xeon или Xeon D. Контроллеры, имеющие встроенный процессор (их еще называют XOR-процессор), принято называть «железными RAID», «честными RAID» или «настоящими RAID». Контроллеры, которые возлагают расчет XOR на CPU, обозначают терминами «софт RAID», «фейковый RAID» или «хост RAID».

ZFS или Btrfs?

Тенденции последних лет ведут к тому, что операционная система сама создает дисковый массив на уровне файловой системы. Лучший тому пример - ZFS, файловая система, имеющая функции дедупликации и сжатия данных на лету. Для её работы крайне желательно, чтобы ядро операционки имело прямой доступ к каждому диску для контроля состояния сбойных блоков, мониторинга S.M.A.R.T. и реализации всех своих функций масштабирования и отказоустойчивости. Фактически, в таком режиме контроллер работает просто как интерфейс SAS/SATA, поэтому не важно какие функции на нем есть, есть ли на нем кэш или какие-либо другие «фишки» - все что надо, сделает операционная система.

В то же время, ZFS не является 100%-отказоустойчивым решением, и целая армия поклонников аппаратного RAID считают, что лучше использовать более простые нересурсоемкие файловые системы, такие как Btrfs или EXT4, а работу с дисками доверить полноценному RAID-контроллеру. Такое решение имеет один существенный минус - не каждая операционная система позволит мониторить параметры дисков в RAID массиве и уж тем более предупреждать о сбойном жестком диске.

Файловая система ZFS по умолчанию используется в операционной системе FreeNAS, а так же в гипервизоре Proxmox, и для этих случаев нужен HBA-контроллер с режимом прямого доступа к дискам. Аппаратный же RAID можно использовать для NAS-оболочки Openmediavault или для гипервизора VMware ESXi.

Итого: выбираем RAID контроллер для OpenMediaVault или HBA для FreeNAS.

Требования к RAID контроллеру для OpenMediaVault

На небольших дисковых массивах лучше использовать RAID 5, как наиболее эффективный по объему, поэтому наш контроллер должен иметь встроенную кэш-память для быстрой записи. Обычно, объем кэша составляет от 64 до 128 Мб, и если у вас меньше 8 дисков, размер встроенной памяти не влияет на скорость, тем более в NAS-е. Учитывая нашу конфигурацию, требования к контроллеру следующие:

Интерфейс PCI Express
Не менее 6 внутренних портов SAS/SATA
Поддержка RAID 5
Встроенный кэш
Низкопрофильный размер

Скорость интерфейсов SAS/SATA не имеет особого значения, так как все контроллеры, выпущенные за последние 10 лет, имеют пропускную способность дискового интерфейса от 300 Мб/с и выше, а сетевой порт на материнской плате ограничен 110 мегабайтами в секунду.

Новый или БУ?

Самый дешевыми RAID-контроллерами, удовлетворяющими нашим требованиям, стали:

Adaptec (Microsemi) 8805 - 37 000 рублей
LSI MegaRAID 9261-8i - 27 000 рублей

Такие траты никак не вписываются в идею создания дешевого быстрого NAS-а - рынок поделен, производители в сговоре, благо у нас есть огромный рынок подержанного серверного оборудования, и вспоминая пункт 5 нашего руководства по покупке б.у. серверов, я считаю, что RAID-контроллер, не поддерживающий SATA-600, должен стоить копейки, тем более что у нас на материнской плате есть 2 порта SATA-600, к которым мы можем подключить SSD для кэширования.

Решение принято - ищем Б.У.

Нужен ли SSD кэш на контроллере?

Это очень сложный вопрос. Некоторые RAID-контроллеры, такие как LSI 9260-8i, могут хранить часто запрашиваемые данные на SSD, но данная функция требует лицензионного ключа и работает независимо от операционной системы. Аппаратный SSD кэш был востребован 6-7 лет назад, но сегодня его преимущества неоднозначны - запись горячих данных на SSD делается операционной системой, но прежде чем попасть на твердотельный диск, данные кешируются в памяти сервера.

Я считаю, что для NAS-а функцию SSD-кэширования надо настраивать софтом.

Оптимальный выбор для OpenMediaVault - HP P410

HP SmartArray P410 - это уникальный в своем роде контроллер, его как будто специально создавали для вторичного рынка. Он поддерживает SAS-600, но не поддерживает SATA-600, из-за чего он совершенно не нужен в домашнем игровом компьютере. Он не может работать в режиме HBA, поэтому для FreeNAS его не рекомендуют, хотя данная модель там работает, если заранее сконфигурировать логический том в другой операционной системе и презентовать ZFS уже целиком массив как логический диск.

SmartArray P410 имеет 8 внутренних портов и отдельный модуль кэш-памяти объемом 256, 512 Мб или 1024 Мб, причем 256-мегабайтный кэш представляет собой обычную память DDR2-800 и подключается к аккумуляторам (BBWC - Battery Backuped Write Cache) для защиты от перебоев электропитания, 512-мегабайтный модуль, как и 1024-мегабайтный, уже является тандемом из чипов DDR2 800 DRAM и флэш памяти, на которую сбрасывается кэш при отключении электричества, а вместо батареи здесь используется супер-конденсатор. Такая технология позволяет хранить закешированные данные в памяти контроллера вечно, в то время как обычный аккумулятор емкостью 650 мАч поддерживает питание памяти не более 2 часов. Пропускная способность кэша составляет 800 Мб/с, на век нашего NAS - хватит.

Средние цены на HP P410:

Российские фирмы, торгующие Б.У. - 4000 рублей за версию с 256 Мб без батарейки
Российские частники на Avito - 3000 рублей за версию с 256 Мб без батарейки
Aliexpress - 2300 рублей за версию с 256 Мб и батарейкой
Ebay - 1500 рублей, включая доставку, за версию с 512 Мб и супер-конденсатором

Совместимость с железом не от HP

Основных вопросов перед покупкой четыре:

будет ли контроллер HP работать в материнской плате «не HP»?
будет ли он работать с дисками не от HP?
будет ли он поддерживать SATA-600 диски?
будет ли он поддерживать диски объемом более 2 Тб?

На первые три вопроса один ответ - да! Привязка вендора к комплектующим обеспечивается за счет BIOS-а серверов, а не компонентов, поэтому HP P410 будет работать в материнских платах Asus, Gigabyte, MSI с жесткими дисками WD, Hitachi, Toshiba и Seagate и другими. SATA-600 диски обратно совместимы с SATA-300, поэтому здесь волноваться не о чем. Для совместимости с жесткими дисками объемом более 2 Тб, может потребоваться обновление прошивки до версии 5.0 или выше, самая свежая версия которой (6.64) располагается по этому адресу.

Контроллер HP P410 построен на базе процессора PMC PM8011, это Raid-on-Chip от компании PMC-Sierra, которая вместе с Adaptec ныне входит в холдинг Microsemi. Информации об этом чипе в открытом доступе нет, и кроме серверов Hewlett Packard, он больше нигде не используется, но его ближайший аналог, PMC PM8013 устанавливался на контроллеры Adaptec 6805. Процессор PMC PM8011 очень горячий, поэтому сверху его радиатор закрыт тепловым экраном, который можно снять, чтобы улучшить охлаждение от системного вентилятора корпуса, а можно оставить, чтобы RAID-контроллер не расплавил виброизоляцию, нанесенную на стенку корпуса в первой части статьи.

Если до вас предыдущий владелец купил и активировал соответствующую лицензию, то у вас будет поддержка RAID 6, но на такое счастье можно не рассчитывать, да и шестой RAID не особо нужен для массивов, содержащих менее 20 дисков.

Capacitor backup module состоит из двух 35-Фарадных конденсаторов номинальным напряжением 2.7 В, подключенных последовательно, что дает общую емкость в 17 Фарад. Конденсаторы в модуле резервного питания считаются вечными, и над их ресурсом можно не задумываться, как можно и не думать особо о ресурсе флэш-памяти FBWC: она задействуется только при аварийном отключении электричества, что бывает очень редко, и многие из этих флэш-чипов за всю свою жизнь так и не узнали, что такое запись.

Перепрошивка

Из всех прошивок для HP P410 имеет смысл обратить на две: версия 3.52 имеет полноценный BIOS с возможностью настройки массивов до загрузки операционной системы, но не поддерживает современные жесткие диски объемом более 4 Тб. Версия 6.64, последняя из доступных, поддерживает большие жесткие диски, но как и все после версии 5.0, не имеет встроенного BIOS-а, из-за чего с этим контроллером многие материнские платы не проходят POST-процесс и зависают при загрузке. На ASUS Prime J3355I-C есть режим совместимости, позволяющий игнорировать BIOS-ы плат расширения при загрузке. Включив его, мы сможем загрузиться с жесткого диска, подключенного к материнской плате или с флешки, но массив увидим только из-под ОС. Загружать операционку с HP P410 можно только на прошивке до версии 3.52, ну или при наличии сервера HP.

Контроллер HP P410 можно конфигурировать через софт HP Array Configuration Utility (ACU) из-под Windows, поэтому, если есть возможность, то лучше поставить Windows 7 или 10 на флешку или на временный жесткий диск и настроить RAID из приятного графического интерфейса. Почти для всех версий Linux, в том числе в OpenMediaVault, есть поддержка интерфейса утилиты настройки через командную строку (hpacucli), но нормальный графический интерфейс для контроллера есть только под Windows.

Соотношение объема кэша для чтения и записи по умолчанию установлено на 25/75%. Выровняем его до 50/50%, и на этом настройку дискового пула закончим.

Цена вопроса

Стоимость б/у HP SmartArray P410 512Mb FBWC вместе с супер-конденсатором составила 1600 рублей. Как говорится, комментарии здесь излишни.

Оптимальный выбор для FreeNAS - LSI 9240-8i с перепрошивкой в IT-режим

При использовании ZFS, кэширование осуществляется в ОЗУ сервера, и для нашей сборки 8 гигабайт памяти NAS-а должно хватить. Разработчики ZFS рекомендуют использовать серверную память с поддержкой ECC, но эта опция слишком сильно удорожает наш компьютер, поэтому сойдемся на обычной качественной геймерской памяти Geil.

Как вы можете видеть по фотографиям, плата достаточно простая, и для нас она удобна еще и тем, что SFF-разъемы выходят вбок, а не вниз, что облегчит прокладку кабелей.

Цена вопроса

HBA-адаптер LSI 9211-8i на вторичном рынке стоит дороже чем RAID-контроллер LSI 9240-8i, поэтому выгоднее купить именно 9240-8i (от 2 до 4 тысяч рублей) и перепрошить её в 9211-8i, чтобы дать файловой системе ZFS прямой доступ к жестким дискам. Надо иметь в виду, что очень много продающихся с рук экземпляров LSI 9240-8i были выпущены для компаний Dell (H310) и IBM (M1015) по OEM-схеме. Прошивка брендовых контроллеров отличается от прошивки оригинальных одной-единственной строчкой, но все же при прочих равных условиях лучше покупать оригинальный не-брендовый контроллер.

Процесс перепрошивки:

В процессе перепрошивки мы можем даже удалить из платы встроенный BIOS, ведь загружаться с HBA-адаптера нам не придется - FreeNAS прекрасно работает с флешки.

Устанавливаем LSI 9240-8i в материнскую плату и загружаемся с USB-флешки. Если BIOS контроллера ругается на то, что не видит диски, в UEFI материнской платы включаем режим Compatibility Support Mode и отключаем загрузку со storage-контроллеров.
В командной строке DOS вводим:
megarec -writesbr 0 sbrempty.bin
megarec -cleanflash 0
Перезагружаем компьютер и снова загружаемся с флешки

sas2flsh -o -f 2118it.bin если нам не нужен BIOS на контроллере

Теперь у нас вместо RAID-контроллера - обычный HBA, такой же как на материнской плате, и загрузив Windows, мы видим подключенный к нему жесткий диск точно так же, как если бы мы подсоединили HDD напрямую к материнской плате.

На всякий случай, вот команды для обратной перепрошивки в 9240-8i с поддержкой RAID:

Megarec -cleanflash 0
Megarec -writesbr 0 sbrm1015.bin
Перезагружаемся
Megarec -m0flash 0 0061_lsi.rom

После перепрошивки процессор LSISAS2008 совсем не греется, так как вычислений никаких не производит и о вентиляции в тесном корпусе можно даже не беспокоиться. В случае, если в будущем мы будем делать апгрейд материнской платы и выберем серверную с 8 портами SAS/SATA, то переподключив жесткие диски к материнке, мы не потеряем наши данные - ZFS автоматически пересоберет массив, а освободившийся слот можно будет использовать например для вывода внешних интерфейсных портов.

Кабели

Вместе с RAID-контроллером нам нужно заказать 2 комплекта кабелей типа SFF8087-SATA. Искать на AliExpress или Ebay нужно по запросу «Mini SAS SFF8087 to SATA» и выбирать самый короткий. Стоимость одного кабеля - в районе 350 рублей.

Процесс подключения и укладки кабелей показан на фотографиях ниже. Сначала - для HP P410

Контроллер LSI 9240-8i установить проще из-за бокового расположения SFF портов и отсутствия суперконденсатора.

После установки убеждаемся, что никакие коннекторы не стучат по корпусу, что ничто не цепляет за лопасти вентилятора и не мешает воздушному потоку.

Немного личных впечатлений

У нас нет самого главного - нет жестких дисков, чтобы произвести полноценное сравнение аппаратного RAID и программного ZFS. Но удержаться от первых тестов невозможно, и в систему был установлен древний WD Velociraptor на 150 Гб, который был протестирован в сборке с HP P410 / Openmediavault / EXT4 и LSI 9240-8i / FreeNAS / ZFS, а заодно я сравнил его с домашней хранилкой Synology DS1511+, где установлено 5 HDD на 7200 RPM 1 Tb.

Вообще, простое копирование 50-гигабайтной директории с играми с HDD на NAS в случае с сетапом OMV дает постоянные 112 Мб/с, на Synology прыгает от 110 до 80 Мб/с, на сетапе FreeNAS прыгает от 90 до 2 Мб/с. Но полноценное тестирование можно будет провести когда в NAS будут установлены нормальные жесткие диски.

Выводы

SATA/SAS контроллер может стать самым дорогим компонентом NAS-а, но здесь можно хорошо сэкономить, купив на Avito или Ebay подержанную плату, отслужившую 5-7 лет в серверах. Самый ненадежный компонент контроллера - это резервный аккумулятор встроенного кэша, чей ресурс составляет 2-3 года, поэтому лучше выбирать модели с супер-конденсаторами или подключать NAS к ИБП и настраивать автовыключение для защиты от потери закешированных данных.

Какое решение выбрать - аппаратное или программное? Изучив отзывы пользователей, становится ясно, что и серверы с ZFS и серверы с EXT4 или Btrfs одинаково часто ломаются и уносят в небытие десятки терабайт данных, поэтому выбирать стоит не по принципу «аппаратный RAID vs программный», а по удобству и функционалу операционной системы или гипервизора, которыми вы планируете пользоваться, но все же следует понимать, что аппаратный RAID уходит в прошлое.

Я хотел посвятить выбору и установке жестких дисков два абзаца, но получилась целая статья. В следующей части нашего проекта мы установим SAS винчестеры и будем бороться с перегревом.

В данной статье мы расскажем про разные способы организации RAID-массивов, а также покажем один из первых аппаратных RAID-контроллеров с поддержкой NVMe.

Все разнообразие применений технологии RAID встречается в серверном сегменте. В клиентском сегменте чаще всего используется исключительно программный RAID0 или RAID1 на два диска.

В этой статье будет краткий обзор технологии RAID, небольшая инструкция по созданию RAID-массивов с помощью трех разных инструментов и сравнение производительности виртуальных дисков при использовании каждого из способов.

Что такое RAID?

RAID (англ. Redundant Array of Independent Disks — избыточный массив независимых (самостоятельных) дисков) — технология виртуализации данных для объединения нескольких физических дисковых устройств в логический модуль для повышения отказоустойчивости и производительности.

Конфигурация дисковых массивов и используемые при этом технологии зависят от выбранного уровня RAID (RAID level). Уровни RAID стандартизированы в спецификации Common RAID Disk Data Format. Она описывает множество уровней RAID, однако самыми распространенными принято считать RAID0, RAID1, RAID5 и RAID6.

RAID0, или Stripes, — это уровень RAID, который объединяет два или более физических диска в один логический. Объем логического диска при этом равен сумме объемов физических дисков, входящих в массив. На этом уровне RAID отсутствует избыточность, а выход из строя одного диска может привести к потере всех данных в виртуальном диске.

Уровень RAID1, или Mirror, создает идентичные копии данных на двух и более дисках. Объем виртуального диска при этом не превышает объема минимального из физических дисков. Данные на виртуальном диске RAID1 будут доступны, пока хотя бы один физический диск из массива работает. Использование RAID1 добавляет избыточности, но является достаточно дорогим решением, так как в массивах из двух и более дисков доступен объем только одного.

Уровень RAID5 решает проблему дороговизны. Для создания массива с уровнем RAID5 необходимо как минимум 3 диска, при этом массив устойчив к выходу из строя одного диска. Данные в RAID5 хранятся блоками с контрольными суммами. Нет строгого деления на диски с данными и диски с контрольными суммами. Контрольные суммы в RAID5 — это результат операции XOR, примененной к N-1 блокам, каждый из которых взят со своего диска.

Хотя RAID-массивы повышают избыточность и предоставляют резервирование, они не подходят для хранения резервных копий.

После краткого экскурса по видам RAID-массивов можно переходить к устройствам и программам, которые позволяют собирать и использовать дисковые массивы.

Виды RAID-контроллеров

Существует два способа создать и использовать RAID-массивы: аппаратный и программный. Мы рассмотрим следующие решения:

Linux Software RAID.
Intel® Virtual RAID On CPU.
LSI MegaRAID 9460-8i.

Linux Software RAID

Программные RAID-массивы в семействе ОС Linux — достаточно распространенное решение как в клиентском сегменте, так и в серверном. Все, что нужно для создания массива, — утилита mdadm и несколько блочных устройств. Единственное требование, которое предъявляет Linux Software RAID к используемым накопителям, — быть блочным устройством, доступным системе.

Отсутствие затрат на оборудование и программное обеспечение — очевидное преимущество данного способа. Linux Software RAID организует дисковые массивы ценой процессорного времени. Список поддерживаемых уровней RAID и состояние текущих дисковых массивов можно посмотреть в файле mdstat, который находится в корне procfs:

Поддержка уровней RAID добавляется подключением соответствующего модуля ядра, например:

Все операции с дисковыми массивами производятся через утилиту командной строки mdadm. Сборка дискового массива производится в одну команду:

После выполнения этой команды в системе появится блочное устройство /dev/md0, которое представляет из тебя виртуальный диск.

Intel® Virtual RAID On CPU

Intel® VROC Standard Hardware Key
Intel® Virtual RAID On CPU (VROC) — это программно-аппаратная технология для создания RAID-массивов на базе чипсетов Intel®. Данная технология доступна в основном для материнских плат с поддержкой процессоров Intel® Xeon® Scalable. По умолчанию VROC недоступен. Для его активации необходимо установить аппаратный лицензионный ключ VROC.

Стандартная лицензия VROC позволяет создавать дисковые массивы с 0, 1 и 10 уровнями RAID. Премиальная версия расширяет этот список поддержкой RAID5.

Технология Intel® VROC в современных материнских платах работает совместно с Intel® Volume Management Device (VMD), которая обеспечивает возможность горячей замены для накопителей с интерфейсом NVMe.

Intel® VROC со стандартной лицензией Настройка массивов производится через Setup Utility при загрузке сервера. На вкладке Advanced появляется пункт Intel® Virtual RAID on CPU, в котором можно настроить дисковые массивы.

Создание массива RAID1 на двух накопителях
Технология Intel® VROC имеет свои «козыри в рукаве». Дисковые массивы, собранные с помощью VROC, совместимы с Linux Software RAID. Это означает, что состояние массивов можно отслеживать в /proc/mdstat, а администрировать — через mdadm. Эта «особенность» официально поддерживается Intel. После сборки RAID1 в Setup Utility можно наблюдать синхронизацию накопителей в ОС:

Отметим, что через mdadm нельзя собирать массивы на VROC (собранные массивы будут Linux SW RAID), но можно менять в них диски и разбирать массивы.

LSI MegaRAID 9460-8i

Внешний вид контроллера LSI MegaRAID 9460-8i
RAID-контроллер является самостоятельным аппаратным решением. Контроллер работает только с накопителями, подключенными непосредственно к нему. Данный RAID-контроллер поддерживает до 24 накопителей с интерфейсом NVMe. Именно поддержка NVMe выделяет этот контроллер из множества других.

Главное меню аппаратного контроллера
При использовании режима UEFI настройки контроллера интегрируются в Setup Utility. В сравнении с VROC меню аппаратного контроллера выглядит значительно сложнее.

Создание RAID1 на двух дисках
Объяснение настройки дисковых массивов на аппаратном контроллере является достаточно тонкой темой и может стать поводом для полноценной статьи. Здесь же мы просто ограничимся созданием RAID0 и RAID1 с настройками по умолчанию.

Диски, подключенные в аппаратный контроллер, не видны операционной системе. Вместо этого контроллер «маскирует» все RAID-массивы под SAS-накопители. Накопители, подключенные в контроллер, но не входящие в состав дискового массива, не будут доступны ОС.

Несмотря на маскировку под SAS-накопители, массивы с NVMe будут работать на скорости PCIe. Однако такая особенность позволяет загружаться с NVMe в Legacy.

Тестовый стенд

Каждый из способов организации дисковых массивов имеет свои физические плюсы и минусы. Но есть ли разница в производительности при работе с дисковыми массивами?

Для достижения максимальной справедливости все тесты будут проведены на одном и том же сервере. Его конфигурация:

2x Intel® Xeon® 6240;
12x DDR4-2666 16 GB;
LSI MegaRAID 9460-8i;
Intel® VROC Standard Hardware Key;
4x Intel® SSD DC P4510 U.2 2TB;
1x Samsung 970 EVO Plus M.2 500GB.

Тестирование

В первую очередь проверим задержки при работе с диском. Тест выполняется в один поток, размер блока 4 КБ. Каждый тест длится 5 минут. Перед началом для соответствующего блочного устройства выставляется none в качестве планировщика I/O. Команда fio выглядит следующим образом:

Из результатов fio мы берем clat 99.00%. Результаты приведены в таблице ниже.

Случайное чтение, мкс	Случайная запись, мкс
Диск	112	78
Linux SW RAID, RAID0	113	45
VROC, RAID0	112	46
LSI, RAID0	122	63
Linux SW RAID, RAID1	113	48
VROC, RAID1	113	45
LSI, RAID1	128	89

Помимо задержек при обращении к данным, хочется увидеть производительность виртуальных накопителей и сравнить с производительностью физического диска. Команда для запуска fio:

Производительность измеряется в количестве операций ввода-вывода. Результаты представлены в таблице ниже.

Случайное чтение 1 поток, IOPS	Случайная запись 1 поток, IOPS	Случайное чтение 128 потоков, IOPS	Случайная запись 128 потоков, IOPS
Диск	11300	40700	453000	105000
Linux SW RAID, RAID0	11200	52000	429000	232000
VROC, RAID0	11200	52300	441000	162000
LSI, RAID0	10900	44200	311000	160000
Linux SW RAID, RAID1	10000	48600	395000	147000
VROC, RAID1	10000	54400	378000	244000
LSI, RAID1	11000	34300	229000	248000

Легко заметить, что использование аппаратного контроллера дает увеличение задержек и просадку по производительности в сравнении с программными решениями.

Заключение

Использование аппаратных решений для создания дисковых массивов из двух дисков выглядит нерационально. Тем не менее, существуют задачи, где использование RAID-контроллеров оправдано. С появлением контроллеров с поддержкой интерфейса NVMe у пользователей появляется возможность использовать более быстрые SSD в своих проектах.

На IT рынке наблюдается суровый передел собственности, который отражается как на ценах, так и на постоянном изменении игроков. Согласитесь, что 10 лет назад ситуация была намного стабильнее и приятнее, ведь все росли на глазах и небо было практически безоблачным. Прогресс, который неумолимо растоптал многие компании и неплохие идеи сейчас уже не воспринимается как что-то впечатляющее. Однако есть сегмент рынка IT , где паровоз прогресса потребительской электроники едет параллельно и не затрагивает интересы производителей в таком объёме, как, например изготовителей мобильных телефонов. Не догадались? Мы о рынке серверных платформ и компаниях, которые предоставляют альтернативные решения «оригинальным» разработчикам. Вообще эта статья не совсем тест или обзор, это скорее очерк по решению насущных проблем в рамках одной организации, которая решила обновить парк серверов и столкнулась с интересным – с прогрессом…

LSI 9260 4i и LSI 8110 4i – альтернативные контроллеры на все случаи жизни

Большинство потребителей компьютерной электроники даже не догадываются, что существует большое количество внешних контроллеров для решения задач не только в серьёзных серверных платформах, но и для домашнего использования. Согласитесь, что далеко не всегда встроенный контроллер на материнской плате может делать всё то, что делает внешний? Особенно если домашний компьютер это не просто железка для игрушек, а ещё и рабочий инструмент? Оказывается далеко не все задачи весело решаются с помощью интегрированных контроллеров, особенно если речь идёт о создании RAID томов 30 уровня и т.п.? Ну если по скорости работы тут всё примерно очевидно, ведь домашние интегрированные контроллеры спокойно поддерживают скорость передачи данных на уровне 6 Гбит/с . Тем не менее, внешние контроллеры позволяют нам легко решать проблемы масштабитруемости дисковой подсистемы компьютера, позволяя, например, подключать несколько дополнительных HDD не «отъедая» мощность основной системы, ведь аппаратный контроллер оснащается собственным процессором.

Если задача совпадает с обновлением парка серверов, то всегда можно столкнуться с ситуацией, когда контроллер «брендовой машины» не желает работать с жёсткими дисками определённого размера, например более 2Тб. В этом случае вы будете опять искать альтернативу для решения этой «проблемки». Разумеется дисковые контроллеры поставляемые на серверный рынок стоят совсем других денег, однако производитель заранее предугадывает потенциальные «хотелки» потребителей и разрабатывает небольшие дополнения, которые отлично помогают в решении самых странных проблем. Ну и опять же, в нашем обзоре-очерке участвуют два контроллера, один из которых решает одну интересную проблему с быстрым кешированием данных. Но об этом позднее.

LSI SAS 9260 4i

Разработанный на базе процессора LSISAS2108 контроллер LSI поддерживает подключение 4-х SAS или SATA жёстких дисков, со скоростью передачи данных до 6Гбит/с на один порт. Оснащён собственной кэш-памятью объёмом 512Мб DDR2 с тактовой частотой 800МГц. Максимально возможный уровень RAID 0+6. Область применения контроллера очень широка, т.к. его можно спокойно инсталлировать как в обычный компьютер так и в сервер, ведь слот расширения PCI Express 8x сейчас встречается везде =). Одним словом – хорошая железка для хороших людей. Относительно инсталляции следует знать следующие важные данные – драйверов на диске из комплекта поставки нет! Их необходимо скачивать отдельно и скармливать инсталлятору через USB флешку или как вам будет удобнее. Этот единственный мрачный пункт в процессе установки 9260 в тестовый сервер Dell PowerEdge R710. А вот конфигурирование RAID из программной оболочки LSI выполняется очень просто и намного быстрее, чем из « софтин » интегрированных контроллеров. Неприятный эпизод с драйверами решается один раз, благо сайт LSI оснащён нормальным поиском, чем, к сожалению, не все могут похвастаться. Есть ещё один интересный момент, который был найден на просторах интернета. LSI SAS 9260 не поддерживает построение программного RAID , что расстраивает некоторых пользователей. Переживать из за этого не стоит, хотя некоторые системные администраторы очень боятся использовать аппаратные RAID функции, т.к. при выходе контроллера из строя необходимо иметь резервный. С другой стороны, время наработки на отказ 9260 составляет более одного миллиона часов. За это время можно прикупить резервную железку без вреда для бюджета. Кстати, уже несколько лет LSI оснащает свои контроллеры прошивкой, которая автоматически определяет подключение SSD дисков и изменяет некоторые алгоритмы в процессе работы. Это сказывается на скорости работы и повышает надёжность системы.

LSI Nytro MegaRAID 8110 4i – зверь для вэба

LSI Nytro MegaRAID 8110 4i

Однозначный лидер этого очерка – настоящий профессиональный контроллер для решения узкоспециализированных задач по масштабированию и увеличению производительности дисковых подсистем . Технические характеристики NMR тоже серьёзно отличаются от 9260 – совершенно разные контроллеры, для разных задач. Итак, 8110 работает на базе двухъядерного процессора LSISAS2208, оснащён ОЗУ объёмом 1Гб DDR III работающей на частоте 1333МГц. А теперь внимание, на 8110 установлен eMLC NAND FLASH объёмом 200Гб. Применяемые алгоритмы кэширования позволяют определять наиболее часто запрашиваемые данные, которые размещаются в NAND FLASH . Легко понять, что такие контроллеры здорово оптимизируют работу систем, где прорабатывается большой поток байтов, например из БД. Ну а для кэширования вэб-страниц такое решение является, пожалуй, наиболее удачным. Вообще применение FLASH памяти оправдано вегда, когда требуется высокая скорость доступа к статичным данным. Например, вспоминается девайс под названием RAM диск, производства компании Gigabyte . Было это давно, но при грамотном использование не самая дорогая железка серьёзным образом ускоряла процесс загрузки системы, а так же заметно уменьшала время работы в мощных приложениях типа Photoshop и 3DS Max . Окей, возвращаемся к 8110. Контроллер поддерживает SAS и SATA диски, работает с различными уровнями RAID от 0 до 6 и от 10 до 60 в spans режиме. Пропускная способность 6Гбит/с на каждый SAS порт. При установке возникает казус с драйверами, т.к. список поддерживаемых ОС хотя и не маленький, но CentOS контроллер не увидел.

Тестирование.

Проводилось на базе сервера Dell PowerEdge R710 с жёсткими дисками WD Black объёмом от трёх, до четырёх Тбайт. Играться с массивами мы не стали, поэтому собирались разные RAID конфигурации. От 1 до 5. Хотя значительного прироста производительности добиться не смогли поэтому оставили RAID 1 уровня для верности. И пусть это никого не смущает ))

Сравнение RAID1 HDD WD Red 1Tb

Срмвнение RAID1 SSD 120Gb OCZ Vertex 3

Выводы.

Два совершенно разных контроллера, для решения разных задач, прекрасно справляются с главной задачей – быстрая передача данных без загрузки центрального процессора. Так же проверялись работы в режиме hot-swap, рушили RAID ( отключением питания HDD) и всячески издевались над сервером. Одно можно отметить точно, контроллеры работали без сбоев.

Если стоит задача подбора «неоригинального» контроллера, то тут решения от LSI выглядят очень хорошо. Во всяком случае мы не слышали о проблемах совместимости железок с современными машинами и решили одну из самых больших проблем современности – купили «неоригинальный» контроллер, который избавил нас от необходимости приобретения дорогущей железки от Dell. По стоимости оба контроллера сложно назвать « бюджетными » , т.к. средний ценник на 9260 составляет 300 долларов, а 8110 стоит более тысячи. Тем не менее, LSI не зря считается лидером в производстве высокопроизводительных контроллеров, стало быть, такая стоимость вряд ли будет считаться завышенной.

Читайте также: