Сервер супермикро как установить виндовс
Обновлено: 04.07.2024
На днях столкнулся с совсем неочевидной проблемой. Хотя что могло быть сложнее поставить Windows 2019 на новый сервер.
Материнская плата Supermicro X11DPL-i, биос обновлен до последней версии 3.3 на 20.11.2020.
Диски 2х SSDSC2KG48
Режим загрузки Legacy (UEFI глобально ничего бы не изменил).
Задача: собрать softraid на встроенном контроллере в чипсет и установить Windows Server 2019.
Почему не внешний контроллер: единственный доступный в 1U корпусе слот оказался занят сетевой картой, поэтому даже при желании его было не поставить. надо было ставить Linux и вообще ceph и все в шоколаде
Действие первое:
1.1 Подключаем 1 диск для проверки.
1.2 Включаем PCH SATA Configuration - Configure SATA as RAID , перезагружаемся.
1.2.1 Обращаю внимание, что на плате есть еще второй sSATA контроллер (Second SATA), который по умолчанию включен.
1.3 Ждем, где клацать Ctrl-I и не видим. Не загружается утилита конфигурации виртуального контроллера. После инициализации OpROM сетевых карт начинает грузиться с них же.
1.4 Возвращаемся в биос, проверяем, что все нормально, перезагружаемся - не работает.
1.5 Гуглим решение: оказывается нужно как минимум 2 диска, чтобы загрузилась.
1.6 Подключаем второй диск, все начинает работать.
Вот казалось бы, вроде логично, что массив собирается только из 2 и более дисков, но почему утилита грузится с теми же требованиями?
P.S. забегая наперед, если один из дисков умрет или его отключить и массив развалится, то утилита загрузится и покажет, что массив degraded, поэтому можно спать спокойно.
Действие второе:
2.1 Массив собрали, массив в boot menu появляется, вставляем флешку/грузим по сети/подключаем через IPMI (подчеркните сами нужное) с образом Windows Server 2019 (md5 B2626D444A641604F325B145AB0C86F1), включаем сервер
2.2 Загружается установщик, клацаем далее, встречаем пустое окно при выборе дисков.
В смысле, как так? Нету драйверов под стандартный intel raid? Такого быть не может.
2.3 ОК, лезем на сайт Supermicro к нашей модели материнки, скачиваем "Intel PCH Driver(SATA)", перепаковываем в ISO, подключаем через IPMI, пробуем скармливать . и не кушает.
2.4 ОКК, лезем на сайт Intel, ищем драйвер Intel SoftRaid/VROC, получаем пакет VROC_7.0.0.2291_F6.
2.5 Перепаковываем в iso, подключаем . и опять не работает. Да как так то?
2.6 Идем в биос, лазим по нему в поисках слов "raid", "intel vroc", "boot volume". В итоге понимаем, что нигде ничего нет, да и вообще, все должно работать. Лезем в Ctrl+I, у него все круто, проблем никаких, рейд собран, помечен как Bootable.
Бросаем это затею и идем гуглить.
"Supermicro X11 server 2019" "Intel VROC server 2019" "X11 softraid windows server installer"
Единственное похожее упоминание о проблеме есть тут в ветке комментариев:
Тут есть упоминание о sSATA, но к нему у нас не подключены диски, так что в итоге он был отключен вообще.
Итак, действие третье:
3.1 Вспоминаем, что у нас есть WinPE на базе Win10 (у меня это StrelecPE), пробуем загрузиться в него.
3.2 Открываем диспетчер устройств, обнаруживаем кучу неопознанных устройств, как обычно, но среди которых нету RAID-контроллера.
3.3 Значит драйвер для него установлен. да, так и есть драйвер "Intel Embedded Server RAID Technology II" установлен, успешно запустился и работает. Но в оснастке управления дисков (он же diskpart) массива так и нет.
3.3.1 ID устройства PCI\VEN_8086&DEV_2826&CC_0104
3.4 ОК, подключаем еще раз новые драйвера с сайта Intel, пытаемся скормить драйвер и вуаля, шайтан машина таки жива, диск мгновенно появляется. (Момент скрина был позже событий, поэтому система уже установлена. Изначально диск конечно же был пустой)
3.3.1 На этом моменте все умные уже предполагают, о чем будет следующее действие.
3.5 Монтируем ISO с установщиком ОС, запускаем setup.exe, диск успешно видится, система начала копировать файлы.
3.5.1 Да, можно было распаковать и через другие утилиты установки из-под WinPE, можно было через cmd распаковать сразу на диск, потом доделать загрузчик, но зачем? Если можно просто нажать далее и он сделает все сам.
3.6 setup.exe радостно сообщает, что файлы все скопировал и надо перезагрузиться.
Вроде все? Но нет.
После перезагрузки сразу получаем BSOD Inaccessible Boot Device, который как бы намекает.
Не то чтобы намекает, он напрямую говорит, что загрузчик запустил ядро, но ядро не нашло загрузочного диска. А почему?
Потому что в образе системы предустановлен тот самый драйвер, который загружается без ошибок для данного устройства, но по факту не работает.
Действие четвертое, заключительное:
4.1 Грузим опять WinPE.
4.2 Устанавливаем рабочий драйвер в WinPE.
4.3 Открываем Dism++, открываем сессию на установленную систему на дисках, импортируем туда рабочий драйвер
4.4 Перезагружаемся. Вуаля, система продолжает ставится без каких-либо проблем.
Это можно было бы сделать сразу в действии третьем (3.3.1), но так как setup.exe не предлагает не перезагружаться, в моем случае это было недоступно, да и я сам хотел проверить, заработает оно или нет без этого.
Что произошло:
Как я предполагаю, в Intel что-то поменяли в прошивке виртуального raid-контроллера (версия Sata Option ROM 6.2.0.1034), оставив старый DeviceID. Скорее всего хотели не сломать совместимость с уже интегрированными драйверами в образах Windows Server 2012R2, 2016 и 2019. Установочные образы 2012R2, 2016 ведут себя аналогично 2019. Так и получилось, драйвер ставится, загружается, но где-то что-то идет не так и он не работает.
Я склоняюсь к этой версии, так как точно помню, что в основном Windows без проблем встают на Intel SoftRaid, без дополнительных драйверов.
В любом случае, драйвер был загружен, но диски в систему не передавал, а результатом стала вроде и простая, но неочевидная ситуация, которую разрулить стандартными средствами невозможно. Установщик отказывается ставить драйвер для контроллера дисков, если у него уже есть драйвера, даже если нерабочие.
Так как эта платформа была в единственном экземпляре, то такой порядок действии вполне нормальный, но если таких было бы несколько, то хорошим решением было бы пересобрать дистрибутив с интегрированными рабочими драйверами. Насколько такое решение является "стандартным средством" решать вам.
Лига Сисадминов
659 постов 12.4K подписчиков
Правила сообщества
В последнее время ставлю или VMware Esx или proxmox - а винду уже тудаСупермикро, как бы это сказать, не очень)). 6 (!) раз переустанавливали сервер 2012рэ2 (да, давно было), он стабильно бсодил при загрузке с непонятной дженерал еррор, хотя ставился на рэйд только так. Бубен не помогал. Махнули местами процы - поехал сука.
Один вопрос: а чем софтовый рейд не угодил ?
У меня уже 6 лет моторесурса дисков в зеркале, рейд пережил три-четыре раз переустановку винды, при чём начиная с 8.1 на нынешнюю 10.
Зачем тебе рэйд-режим работы контроллера если рэйд нужен софтовый?
1. можешь прислать ссылку на прямо вот точные драйвера которые тебе в итоге подошли
2. с Dism++ не понял, загрузился в режиме PE, запустил DISM, нашлась установленная система 2016, примонтировал, открыл сессию, добавил драйвера, закрыл сессию, перезагрузился - проблема осталась. Как правильно в Dism++ эту операцию делать?
Здравствуйте, подскажите вот такую вещь, подогнали материнку X11SSH-F, как у нее попасть в BIOS?
Чёт я малость запутался - ты в середине пишешь, что интегрировал драйвера в исо, но это не помогло. А в конце пишешь, что надо бы по хорошему интегрировать драйвера в инсталлятор и тогда всё должно быть ништяк. В чём отличие?
И дополнение - на работе есть два сервера с матерями супермикро, год назад решал на одной из них проблему, хоть убей, не помню уже какую, но которая вылезла на ровном месте и какой на любой другой матери не было и быть не должно. Так толком и не решил, обошёл. И с тех пор я к ним ниочинь.
Если уж использовать программный рейд, то какой смысл это делать на intel, а не средствами ОС?
Заморочился нашёл способ поставить ОСЬ:
1. ISO Стрельца с WINPE
Вообще не понятно зачем все это. Собрал этих платформ чертову тучу. Драйвера подбрасываются прямо из инсталятора.
1. Качаешь драйвера с сайта Супермикро - по моему называются Intel SATA или Intel PCH
2. Названия не очевидные какой подкидывать. Перваый раз просто выбирал сверху вниз, заняло около получаса попробовать перебором. И на этом все. проблем нет.
3. Если собрал рейд на sSATA - то в драйверах с сайта Супермикро где-то рядом фалик.
4. Конечно HPE или DELL будут проще настраиваться, да и с гарантией получше "чуток", Но при этом деньги совсем другие, особенно если массив большой.
Нафиг эти все танцы - драйвера в ISO встраивать. Хотя это круто, что автор умеет это делать.
Слил исошку с дровами с оф сайта супермикро, распаковал, и в процеесе установки винды с диска (через usb dvd), просто подкинул дрова и все установилось без проблем на софт рейд 105 лет как свалил с on-premise, а костыли там всё те же.
На сервере использовать SSD 3D NAND TLC ? Серьёзно?оо
А raid не зеркало из них случаем? Ну чтобы умирали одновременно.
твоя ошибка в первой же строчке раздела Дано.
не надо брать эту хуергу, супермайкро ебучее.
ни разу не было таких проблем с серверами крупных брендов.
Windows спустя месяц
Лучше не приходи.
Вроде хорошее предложение, но как-то сомнительно.
Даже если и недалеко, не приходи.
А с другой стороны, этой фотографии как минимум лет 10, и кто знает,может бывший эникейщик сейчас развертывает на предприятиях RedHat и ставит домохозяйкам Gentoo?
Раритет
Сегодня полез смотреть проверять доступность Windows 10 October 2020 Update в параметрах системы. Действительно, появилось в необязательных, но речь уже не об этом, так как заметил, что для обновления доступны ещё два драйвера.
Последний меня заинтересовал и я полез в диспетчер устройств смотреть дату выпуска текущего драйвера со схожими признаками (PCIe, 1901), а там.
Оказалось, что у меня на компе один из первый драйверов, написанных Intel аж в день своего основания.
Такой раритет я, пожалуй, оставлю без обновления. ))
Пожелание сотрудницы
Видимо очень хорошая сотрудница
Intel «похоронит» базу данных драйверов для старых ПК
В эту пятницу, 22 ноября, Intel удалит со своих серверов все драйверы и BIOS для чипсетов, процессоров, видеокарт и других устройств, которые были выпущены более десяти лет назад. Сейчас при попытке загрузки такого ПО в верхней части страницы появляется соответствующее предупреждение. Дополнительно компания избавится от подобных файлов, предназначенных для работы под управлением операционных систем Windows 98, ME, XP и Windows Server, которые больше не поддерживаются Microsoft.
Владельцы устаревшего оборудования по-прежнему смогут загружать необходимые драйверы из сторонних источников, но делать это им придётся на свой страх и риск.
Разработчики Linux и Windows работают над закрытием огромной уязвимости в процессорах
Фундаментальная ошибка проектирования всех современных процессоров Intel, выпущенных за последние 10 лет, заставила разработчиков Linux и Windows в срочном порядке переписывать значительные куски кода ядер для того, чтобы закрыть недавно открытую в них уязвимость. Архитектура ARM64 также подвержена уязвимости.
Детали уязвимости находятся под эмбарго до тех пор, пока не будут выпущены исправления, которое намечается на середину января 2018 года, когда выйдет новое ядро Linux и ежемесячное обновление безопасности для Windows. Проблема возможно уже исправлена в ядре 4.14.11, учитывая огромный размер инкрементного патча (229 KiB).
По известным сейчас данным, обход этой аппаратной проблемы может привести к падению производительности приложений на процессорах Intel от 5 до 30% и даже до 63% на некоторых задачах. Более новые чипы от Intel имеют в своём арсенале возможности (PCID / ASID), позволяющие сократить провал в производительности при применении исправления.
Суть уязвимости, скорее всего, заключается в том, что процессоры Intel при спекулятивном выполнении кода не выполняют проверки на безопасность инструкций, которые позволяют читать сегменты памяти, что позволяет любому пользовательскому приложению получить доступ к памяти ядра, тем самым позволяя прочитать закрытые данные, такие как ключи шифрования и пароли. Большую опасность проблема также представляет для систем виртуализации, так как позволяет получить доступ к памяти вне гостевой системы.
Для решения проблемы разработчикам ядер пришлось полностью разделить память ядра и память пользовательских приложений, однако такое решение приводит к серьёзному падению производительности из-за постоянной необходимости замены указателей на память. Разработчики ядра Linux в шутку предлагали следующие аббревиатуры для новой модели разделения памяти ядра и пользовательских процессов: User Address Separation (*_uass) и Forcefully Unmap Complete Kernel With Interrupt Trampolines (fuckwit_*), однако остановились на Kernel Page Table Isolation (kpti_*).
Разработчики из GRSecurity протестировали патчи и увидели огромное падение производительности. Разработчики PostgreSQL отметили падение производительности в тесте pgbench на 23% (при использовании процессоров с PCID - 17%). Из-за сильного влияния на производительность разработчики патча предусмотрели опцию для отключения KPTI, которая активируется через передачу параметра "nopti" при загрузке ядра.
Компания AMD утверждает, что её процессоры уязвимости не подвержены. Работа над исправлением уязвимости в других операционных системах также активно ведётся
Как настроить IPMI на серверах Supermicro в Windows
Всем привет. сегодня расскажу как настроить IPMI на серверах Supermicro в Windows. Почитать, что такое IPMI можно по ссылке слева. Уверен данное руководство сможет начинающим системным администраторам сильно упростить себе рабочие будни и меньше раз поднимать попу с мягкого кресла и тем самым уменьшим походы в холодную серверную.
Методы настройки IPMI
Самый удобный метод настроить IPMi без перезагрузок это настроить его через Windows с помощью утилиты ipmicfg или же ее аналога, но с графическим интерфейсом, Supermicro IPMIView.
С помощью утилиты ipmicfg
Запускаем утилиту в командной строке, самый простой способ это зажать Shift и кликнуть правым кликом мыши по папке с утилитой, далее из контекстного меню выбрать пункт, открыть окно команд.
Нам нужно посмотреть текущие настройки сети, а именно ip адрес, маску и шлюз. Выполняем следующие команды.
Смотрим текущий ip адрес, если у вас в сети присутствует сервер DHCP, то с большой вероятностью он выдаст динамический адрес и вы его так же сможете отследить в базе DHCP.
Смотрим текущую маску
Как настроить IPMI на серверах Supermicro в Windows-01
Задаем ip адрес 192.168.103.62
Задаем маску 255.255.252.0
Задаем шлюз 192.168.102.251
Как настроить IPMI на серверах Supermicro в Windows-02
С помощью утилиты Supermicro IPMIView
Теперь для любителей графического интерфейса, есть утилита Supermicro IPMIView, последней версией была 2.12.0.
Установка утилиты очень простая. После запуска установщика, начнется распаковка дистрибутива.
Далее жмем next.
Соглашаемся с лицензионным соглашением, нажимая I accept the terms of the License Agreement.
При желании можно поменять каталог установки утилиты.
Далее нажимаем кнопку Install.
Запускаем Supermicro IPMIView.
Первое, что я вам посоветую, так это просканировать вашу локальную сеть на предмет портов управления, в Supermicro IPMIView нажимаем значок лупы и ставим галки на версии 2.0 и 1,5
В итоге у меня нашлось 3 ip адреса.
Если вы точно знаете ip адрес IPMI порта, то можете добавить к нему ручное подключение.
Задаем учетные данные, напоминаю, что для сервером supermicro, стандартный логин и пароль ADMIN / ADMIN
Вот так вот просто настроить IPMI на серверах Supermicro в Windows. Так же советую почитать Как настроить IPMI на серверах Supermicro в ESXI 5.5
Не так давно, мне удалось поработать с новыми для меня серверами Supermicro удаленное управление которыми осуществляется с помощью интерфейса IPMI. В данной статье я постараюсь раскрыть основные моменты в настройки IPMI на серверах Supermciro, покажу основные пункты меню интерфейса IPMI, а также расскажу о дополнительных утилитах, командах и способах мониторинга сервера с помощью ipmi.
Первичная настройка IPMI консоли и знакомство с интерфейсом
Настройка IPMI начинается с настройки IP адреса интерфейса, который нужно указать в BIOS. Если сервер установлен в офисе, это может быть серый IP-адрес, если же ваше оборудование размещается в ДатаЦентре, то наверняка вы используете белый статический IP-адрес.
На серверах Supermicro в BIOS можно попасть, нажав кнопку “Del” при загрузке сервера, я не буду заострять на этом внимание и сразу перейду к интерфейсу самого BIOS.
Как видите на скриншоте, я вошел в пункт меню IPMI и активировал возможность конфигурации Lan для интерфейса (Update IPMI Lan Configuration=Yes, Configuration Address Source = Static), указал IP-адрес, маску подсети и основной шлюз.
Применить настройки можно нажав кнопку F4, после чего произойдет перезагрузка сервера.
Если вы все сделали правильно, то введя в браузере, указанный для интерфейса IPMI IP, у вас откроется авторизация:
Теперь пройдем по основным моментам.
При покупке нового сервера, в IPMI уже создан пользователь ADMIN с паролем ADMIN, именно с этими данными мы и авторизуемся. Я всегда рекомендую создавать нового пользователя, а стандартного удалять или менять у него пароль, так оставлять такой логин и пароль, крайне небезопасно. Создать нового пользователя или поменять пароли/привилегии у текущих, можно в меню Configuration -> Users.
Рестарт интерфейса IPMI можно сделать из меню Maintenance -> Unit Reset.
Монтирование iso образа ОС для установки на сервер выполняется в меню Virtual Media -> CD-ROM Image.
У меня iso образы ОС хранятся на сервере Samba в той же подсети что и интерфейсы IPMI серверов. Я указываю адрес сервера Samba, путь к образу установочному ISO с ОС, после чего монтирую ISO образ и приступаю к установке операционной системы.
Удаленную графическую Java консоль сервера (KVM-over-IP) можно открыть через Remote Control -> Console Redirection.
Консоль в целом удобная, но после установки ОС, для работы с сервером я обычно использую ssh клиенты. Иногда есть моменты когда, это невозможно, например если у вас не работает или еще не настроена сеть на сервере или же имеются какие-то проблемы с доступом. Именно тогда на помощь и приходит Remote Console.
Никаких отдельных настроек в самой консоли делать не нужно, хочу лишь добавить, что она имеет встроенную клавиатуру, которую можно вызывать из меню Virtual Media -> Virtual Keyboard.
grubby --args "nomodeset" --update-kernel /boot/vmlinuz-`uname -r`
После этого, Remote Console работает исправно.
Управление сервером через утилиту IPMICFG от SuperMicro
Для управления серверами через IPMI компания SuperMicro разрабатывает собственную утилиту IPMICFG.
Распакуем скачанный файл в директорию которой находимся:
Далее создаем символическую ссылку для удобства запуска утилиты:
ln -s /root/IPMI*/Linux/64bit/IPMICFG-Linux.x86_64 /usr/local/sbin/ipmicfg
Теперь мы можем запускать утилиту с помощью команды ipmicfg (символической ссылки). Рассмотрим базовые возможности утилиты ipmicfg.
Если выполнить команду ipmicfg -help мы получим список всех возможных параметров утилиты.
Разберем основные команды:
- ipmicfg -help – полная справка по утилите;
- ipmicfg -m – просмотр текущего IP и mac-адреса для IPMI;
- ipmicfg -k — просмотр маски подсети;
- ipmicfg -g – просмотр заданного шлюза;
- ipmicfg -fd — сброс IPMI к заводским настройкам;
- ipmicfg -user list – просмотр созданных пользователей и их привилегий.
Вы можете изменить IP адрес, маску и шлюз интерфейса IPMI:
- ipmicfg -m 192.168.1.200
- ipmicfg -k 255.255.255.0
- ipmicfg -g 192.168.1.1
Создать нового пользователя IPMI и его пароль:
ipmicfg -user add <user id> <name> <password> <privilege>
С помощью утилиты делаем следующее:
ipmicfg -user add 6 test 123456 4
Тем самым мы создали пользователя test с паролем 123456 и привилегиями администратора.
Список пользователей IPMI и их привилегии в системе можно вывести командами:
- ipmicfg -user list
- ipmicfg -user help
Как уже видите на скриншоте, пользователь test создан.
Чтобы изменит (сбросить) пароль пользователя IPMI, исползайте команду:
ipmicfg -user setpwd
И приведу еще пару примеров использование данной утилиты:
- ipmicfg -hostname [value] — задать hostname для ipmi интерфейса;
- ipmicfg -r — перезагрузка IPMI.
Мониторинг железа на сервере SuperMicro через IPMI и утилиту IPMICFG
Мониторинг сервера SuperMicro через IPMI
Через IPMI мониторить температуру и работу железа сервера SuperMicro довольно просто. Полная информация о железе сервера содержится в пункте System -> Hardware Information.
Информацию по состоянию процессора, оперативной памяти и вентиляторах, можно посмотреть перейдя во вкладку Server Health -> Sensor Readings.
Для удобства просмотра, можно менять категории отображения датчиков, например, температуры:
Или датчики напряжения:
Так как в данный момент на нашем сервере нет проблем, ни с температурой, ни с напряжением, все датчики находятся в зеленой зоне. Если на сервере поднимается температура или есть проблемы с напряжением, зеленые прямоугольники будут окрашиваться в красный цвет, что послужит сигналом для проверки вашего сервера.
Мониторинг с помощью утилиты ipmicfg
Проверка состояния блоков питания:
Посмотреть температуру процессора можно командой:
ipmicfg -nm oemgettemp
Так же можно проверить в каком режиме работают вентиляторы и изменить режим, если это необходимо.
Проверка состояния и конфигурации вентилятора
Изменение режима работы кулера: ipmicfg -fan <mode> Например, ipmicfg -fan 3
Информация о версии и прошивке IPMI:
И посмотреть все сенсоры можно командой ipmicfg -sdr
При выводе мы видим, что есть дополнительные столбцы, в которых отображена информация о лимитах нижнего и верхнего пределов.
Так же существует еще не малое количество утилит, которые можно использовать для мониторинга и автоматизировать этот процесс, например, с nagios. В данный момент заострять на этом внимание мы не будем, так как цель статьи рассказать основные моменты в работе с IPMI. Если вас заинтересует тема мониторинга, вы можете оставить свои пожелания и возможно в дальнейшем мы осветим и эту тему. Надеюсь, данная статья окажется для вас полезной!
В браузере необходимо подключиться к IPMI по IP-адресу из письма об активации услуги (либо из Личного кабинета).
На странице авторизации необходимо ввести логин и пароль.
Вам будет доступна следующая информация (интерфейс может отличаться):
В меню Virtual Media выберите CD-ROM Image .
Появится следующая страница ( Image on Windows Share ):
Подключение .ISO к Virtual Media
Для получения реквизитов доступа обратитесь в нашу поддержку и заполните следующие поля:
Share Host: полученный от поддержки.
Path to Image: как пример, для CentOS 7 с минимальным набором пакетов или FreeBSD 12.0:
User / Password: полученные от поддержки.
После ввода данных необходимо нажать на кнопку Mount и после нее Save для подключения .ISO образа (и подтвердить это действие):
В случае успеха статус CDROM&ISO Status изменится на There is a disk mounted . В ином случае необходимо убедиться в корректности введенных данны либо связаться с нашей поддержкой.
Для отключения .ISO образа после завершения установки необходимо нажать на кнопку Umount
Для загрузки с подключенного .ISO-образа необходимо перезагрузить сервер и в BIOS выбрать загрузку с виртуального диска:
Возможно Вас также заинтересует:
Инструкция по работе с IPMI
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
Читайте также: