Подключение блоков питания сервера к разным фазам
Обновлено: 03.07.2024
Поэтому мне было поручено задокументировать и проверить состояние ИБП для моего текущего работодателя и определить любые изменения, которые необходимо внести. В общем, все просто, но я столкнулся с несколькими устройствами, которые подключены как к обычному источнику питания, так и к розетке ИБП. Я делал подобное раньше, но это напомнило мне электрика, с которым я работал, который сказал, что это может повредить оборудование.
Я искал в Интернете, чтобы выяснить, в чем специфика этого предупреждения, но я не нашел много. По памяти, я думаю, что это как-то связано с использованием схем из разных источников, обеспеченных трехфазным питанием. В то время я работал на промышленных объектах, и на мои серверы подавалась некоторая мощность от трехфазных трансформаторов. Не все было, однако.
Мой вопрос: есть ли случаи, когда работающая система с резервными источниками питания могла быть повреждена, если бы они работали на разных цепях питания, предполагая, что обе цепи чистые (например, работа обоих блоков питания на одной из цепей не повредила бы).
Подождите секунду, вы говорите, что сталкивались с резервными источниками питания, в которых в одной и той же системе один или несколько блоков питания подключены через ИБП, а один или несколько других блоков питания подключены таким образом, чтобы обойти ИБП? Как минимум, у вас должно быть заземление, которое является одинаковым и хорошим, и должно демонстрировать более сильное отношение к тому, какой провод является линейным, а какой - нейтральным. Эти требования не настолько «смягчены», как вы можете сойти с рук, если бы вы бежали от той же фазы. @ MichaelKjörling Я имел обыкновение работать с местом, в котором один источник питания каждого сервера был подключен к ИБП, а другой источник питания каждого сервера был подключен непосредственно к источнику питания. Парень, который сделал это, рассказал мне «ужасные истории» о том, что ИБП умер и сломал все серверы, поэтому он не хотел, чтобы вся энергия проходила через ИБП. @ MichaelKjörling Да. Как уже упоминалось в ответах ниже, довольно часто это делается, чтобы один ИБП не занимал несколько серверов. Конечно, было бы лучше запустить несколько ИБП, но не все сайты могут или будут делать это. Я не совсем уверен, что мои рассуждения были выше. Говоря так, @kasperd, да, я согласен с тобой. Конечно, вы, вероятно, захотите, чтобы все входы блока питания были как минимум защищены от скачков напряжения, но это другой вопрос.С многофазными системами переменного тока (двигатели и т. Д.) Вы правы, плохие вещи могут и произойдут, если выпадет одна из фаз. Однако с компьютерными блоками питания каждый из них работает совершенно отдельно, преобразуя свое входное напряжение переменного тока в различные напряжения постоянного тока для компьютерной системы.
Вы можете безопасно запускать резервные блоки питания в разных цепях, на разных фазах и т. Д. В действительности это действительно отличная идея для сокращения количества компонентов, которые используются совместно.
Вы определенно должны использовать несколько блоков питания на разных каналах для резервирования.Работа источника питания заключается в том, чтобы брать энергию, которая не на 100% чиста, и обеспечивать ее стабильность.
Люди, работающие в центрах обработки данных, были уволены за то, что блоки питания не работали в разных цепях. Если один автоматический выключатель сработает или один ИБП отключится, весь сервер выйдет из строя, что не является предполагаемой конструкцией.
В идеале вы хотели бы, чтобы они были подключены к отдельным цепям с разными ИБП в каждой цепи, чтобы в случае сбоя в работе сервера все еще можно было работать.
Как минимум, у вас должно быть заземление, которое является одинаковым и хорошим, и должно демонстрировать более сильное отношение к тому, какой провод является линейным, а какой - нейтральным. Эти требования не настолько «смягчены», как вы можете сойти с рук, если бы вы бежали от той же фазы.
Это все еще проблема с блоками питания, потому что блоки питания часто содержат небольшие конденсаторы, которые соединяют между собой линию, нейтраль и землю (например, C118 здесь или CY11 там ). Они имеют большой конечный импеданс 50 Гц и будут пропускать гораздо больше коротких импульсов, поэтому изоляция не завершена. Это наиболее опасно, когда вы подключаете горячее подключение , но даже если вы этого не сделаете, наличие высокочастотных компонентов на вашем GND не слишком приятно.
Каждый из ваших блоков питания должен использовать только одну фазу, не имеет большого значения, из какой цепи он идет. Оба будут обеспечивать постоянный ток для вашего оборудования.
Из своего опыта я видел сбой некоторых блоков питания вскоре после замены кабелей на них во время работы серверов, один кабель за другим (в конце концов, почему бы и нет, если у вас есть резервные блоки питания . ), каждый из которых находится в отдельной плавкой цепи.
Но я подозреваю, что это связано с возрастом аппаратного обеспечения, а не крайним случаем, к которому относится этот вопрос. После обмена кабелями на нескольких сотнях серверов это было меньше 10 блоков питания, поэтому это не должно быть значительным.
Один очень умный человек на днях доказывал мне это.
Тем не менее, то ли от недостатка знаний, то ли по привычке у меня возникли сомнения в правильности его утверждений.
Итак, он убеждён, что если:
включить, допустим, компьютер в одну фазу трёхфазной сети, принтер - в другую, а затем подключить с помощью USB или какого другого кабеля принтер к компьютеру, то из-за такого подключения может случиться короткое замыкание или другое подобное событие, могущее вывести одно из этих устройств из строя.
Хотелось бы почитать ваши мнения по этому поводу.
Уточнения к условиям "эксперимента":
никаких особых условий не предусматривается. Имеется помещение со штатными розетками 220 В от разных фаз.
| QUOTE (Князев Александр @ 26 сентября 2009, 20:53) |
| Нет проблем с трехфазной цепью, есть проблема заземления. И на двухфазной цепи полно случаев. |
Давайте на примерах.
Особенно по поводу "проблем заземления".
В моём случае рассматривалась обычная розетка 220 В. О каких проблемах Вы говорите?
добавлено в [mergetime]1253979594[/mergetime]
| QUOTE (paha @ 26 сентября 2009, 20:49) |
| Питание и интерфейс устройств не связаны. |
Короткого замыкание в прямом смысле слова не будет. А будет вот что: Чтобы не было пробоя в трансформаторе источника питания "горячую" землю (землю первичных цепей импульсного источника) соединяют через конденсатор со вторичной землёй (корпусом компьютера). А также на горячую землю "садят" два конденсатора первичного фильтра, которые вторым концом соединены с фазой и нулём. Поэтому на корпусе компьютера мы получаем напряжение относительно земли или нуля, равное половине напряжения сети.
Именно поэтому нас торкает, если взяться за корпус компьютера и, например, батарею или водопроводную трубу. Ток там небольшой, но торкает прилично.
Если два устройства с импульсными источниками включить в разные фазы, то на их вторичных землях, ака корпусах, будет одинаковое напряжение относительно земли или нуля, но со сдвигом фаз. Т.е. из-за сдвига фаз в сети, между корпусами приборов, включенных в разные фазы будет порядка 100 вольт (это не половина напряжения сети, получается именно из-за сдвига фаз напряжения в разных фазах сети).
А вообще, в квартире запрещено использовать несколько фаз в приборах, которые не имеют заземления. По новому ПУЭ зануление больше не допускается.
Все данные проблемы снимаются при использовании честного заземления. При использовании зануления в случае наличия нескольких фаз в квартире и приборов с импульсными источниками или фильтрами ака ПИЛОТ, вы ещё только усугубите ситуацию, подвергая свою жизнь смертельной опасности.
Когда я впервые увидел такую надпись при опросе версий прошивок HP DL380, то был несколько обескуражен. Эм, ну ладно, если очень нужно – скачай и поставь. Но что за софт может быть в банальном блоке питания? Оказалось, что для диагностики местной системы жизнеобеспечения и обработки отказов по питанию. Там натуральный кластер из блоков питания, со своим арбитром и логикой. Под катом рассказ об устройстве такого "кластера" и о том, почему 2 x 1400 = 2300W.
Два блока питания – в два раза выше надежность? Не всегда, потому что зависит от настроек системы электропитания. Вот о ней подробнее и поговорим. В качестве предметов рассказа я выбрал оборудование среднего серверного класса, вроде такого:
То есть, не блейды и не мейнфреймы – у них все иначе устроено. Обратите внимание, форм-фактор сервера не имеет значения для наличия или отсутствия дополнительных блоков питания.
Начнем с ответа на вопрос "зачем сколько БП, если можно просто хранить небольшой запас запчастей". Системы с резервированием в сервере всегда полезны, даже если не рассматривать отказоустойчивость. Например, они повышают удобство обслуживания и позволяют нам не ночевать в серверной при замене дисков или тех же блоков питания.
Например, второй блок питания поможет, если:
Выйдет из строя ИБП;
Дорожные рабочие найдут месторождение электричества;
Возникнет необходимость переноса сервера в другую стойку;
Два блока питания дают больше гибкости при проектировании серверной комнаты. Например, рабочая схема подключения у одного клиента: в серверной две фазы, подключены к разным блокам питания серверов. Одна фаза подключена к UPS, а вторая работает только через стабилизаторы. Но эта линия идет от генератора с автозапуском. При отключении электричества дизель стартует и серверы продолжают работать, даже если UPS разрядятся. Это всего лишь один из вариантов, подобранный с учетом пожеланий клиента и возможностей бюджета.
Итого, несколько БП нужны для удобства администратора, повышения надежности системы и обеспечения большей мощности.
Простейший вариант систем с двумя блоками питания выглядит как запитывание отдельных комплектующих компьютера от разных блоков, при этом один из них управляющий и питает материнскую плату. Подобные решения практикуют геймеры и майнеры, потому что для установки трех и более видеокарт одного источника питания не хватит. Для подключения используют такие адаптеры:
При нажатии на Power замыкаются зеленый сигнальный провод с "землей", давая команду на запуск обоим блокам питания.
Помню, когда-то давно был у меня компьютер уровня Pentium III с набором SCSI дисков. Штатного блока питания перестало хватать, и я подключил старый АТ-блок отдельно для жестких дисков. Запуск чудо-машины происходил так: нажимаем на кнопку дополнительного питания и ждем жужжания дисков, затем включаем основной БП и начинается загрузка.
Даже в эпоху всепроникающего Китая для "самоделкиных" существует множество схем подключения двух блоков питания своими руками, чтобы получилась похожая конфигурация:
Но вернемся к промышленным серверным решениям.
Устройство питания по своей логике довольно простое. Блоки подключаются к специальной корзине Power Distribution Backplane, где также присутствует микроконтроллер Power Distribution Unit (не путайте с распределителем питания для серверной стойки). Контроллер отвечает за схему использования доступных БП: одновременно или в режиме primary-backup.
Столь продвинутую подсистему питания можно настраивать под конкретные потребности. При использования сервера с двумя блоками питания доступно несколько режимов работы:
Резервирование, при котором один блок питания нагружен постоянно, а второй готов подхватить нагрузку в случае сбоя;
Очень напоминает RAID – его отказоустойчивый уровень 1 и производительный 0.
Большинство производителей позволяют администратору выбрать необходимый режим. Например, в таком сервере HP настройка через BIOS выглядит следующим образом:
Изображение немного устарело, так как в новых системах используется настройка через iLO, но для понимания сути ее достаточно.
Посмотрим на выдаваемую мощность пары блоков питания HP DL360 при разных режимах настройки и небольшой нагрузке. Для этого используем консольную утилиту hpasmcli.
Не обманул производитель, блоки питания выдают примерно одинаковую мощность.
И правда, при использовании режима распределения нагрузки блоки нагружены примерно одинаково. Но при включении отказоустойчивости используется только один блок питания, а второй переводится в Standby и расходует минимум энергии.
Своеобразный "спящий режим" нужен для того, чтобы избежать холодного старта при подключении резервного БП, сэкономить время и минимизировать риски выхода блока питания из строя в процессе его активизации. Как и в случае с бытовыми лампочками, при любом холодном включении образуются пиковые нагрузки на элементную базу электроцепи, что может привести к ее порче.
Настройка режимов работы у каждого производителя выполняется по-своему. Например, у Lenovo (IBM) в системах с двумя блоками питания настройка через GUI выглядит следующим образом:
На выбор предлагаются три режима работы:
Отказоустойчивость без снижения энергопотребления – вернемся к нему позже;
Отказоустойчивость с понижением мощности;
Generic-серверы, вроде Intel и Supermicro, не всегда хорошо документированы и открытой информации о настройках режимов работы БП не оказалось. Пришлось обратиться к нашим инженерам и форумам. Оказалось, что подобные системы обычно работают они в режиме балансировки нагрузки.
Если вы плотно работали с подобными платформами и владеете другой информацией – поделитесь в комментариях, пожалуйста.
Еще интереснее обстоят дела с системами из трех и более БП.
Как и в аналогии с RAID, большее число узлов открывает более изощренные схемы использования. Например, у сервера Supermicro с тремя блоками штатно используется режим работы 2+1, то есть работают одновременно два, а третий в резерве.
В случае с четырьмя БП в Lenovo можно настроить использование блоков питания более гибко. Интерфейс даже считает показатели мощности самостоятельно:
С точки зрения баланса производительности и надежности, подобные конфигурации из 4 БП оправданы только при использовании "прожорливых" комплектующих. В остальных случаях запас по мощности будет избыточным, а удобство и запас надежности обеспечивают 2 блока питания с разными подводами электричества.
На мой взгляд, в таких платформах интереснее вместо третьего и четвертого БП поставить резервные батареи (примеры для Supermicro и HP). Они подстрахуют от проблем с UPS и минут на 5 повысят время работы без электричества в сети. Кроме того, с подобными модулями удобнее заниматься обслуживанием железа: выдернул кабель – и спокойно перенес сервер в другой шкаф. Время работы сервера от встроенной батареи составляет около пяти минут.
Опыт инженеров Сервер Молл показывает, что блоки питания на втором месте по выходу из строя, после жестких дисков. По крайней мере, в ходе восстановления серверов эти компоненты часто меняются из-за применения в их конструкции электролитических конденсаторов.
Если к сбоям дисковой подсистемы мы привыкли и держим запасной диск наготове, то замена для системы питания встречается на полках ЗИП реже. Ситуацию в какой-то степени спасает гарантия и возможность получить замену отказавшего БП через пару дней с курьером, но Закон Мерфи со счетов сбрасывать не стоит. В моей практике был случай, когда во время ожидания замены отказавшего БП вышел из строя оставшийся. Хорошо, что на сервере ничего жизненно-важного не было.
Если оставить в стороне надежность, то остается вопрос с мощностью. Как правило, лучше взять сразу два блока питания, каждый с достаточным запасом выходной мощности. Но если бюджет таких вольностей не позволяет, то придется взвешивать потребности более детально и учитывать проседания мощности источников питания. Обратимся к руководству от HP, в котором представлен график КПД системы питания в разных конфигурациях:
В случае низкой нагрузки машины КПД одного блока питания выше, но картина меняется, если у нас высоконагруженный сервер.
Что же будет, если один из блоков питания выйдет из строя, а мощности оставшегося не хватит?
У многих вендоров предусмотрен механизм снижения энергопотребления на случай сбоя – PowerSafe Guard у Fujitsu, Throttling у Lenovo. Использование подобных механизмов не всегда спасает ситуацию, да и существенное падение производительности порой хуже простоя.
Есть еще один нюанс: возрастает нагрузка на второй блок питания, что повышает вероятность его выхода из строя. Лучше исходить из того, что один блок питания из пары должен обеспечивать сервер целиком, хотя бы при штатных нагрузках. Разница в стоимости блоков питания разной мощности не так уж велика, поэтому стоит выбирать более производительные модели. Например, вот цены на варианты от Supermicro:
Блок питания PWS-406P-1R на 400 Ватт стоит в среднем 12 000 ₽;
Цены взяты с Яндекс маркета, так что в реальности они могут быть даже ниже. Экономия 4 000 ₽ в ущерб отказоустойчивости выглядит так себе даже для небольшого сервера.
Современный блок питания содержит набор диагностических механизмов для контроля внутренней системы охлаждения, напряжения, силы тока и массы внутренних состояний.
Помимо автоматического отключения при перегреве, полезно иметь возможность подключить к централизованному мониторингу показатели работы подсистемы питания. Например, с их помощью можно прогнозировать выход из строя определенного БП или выявить нестабильный подвод электричества. Все это обеспечивают микроконтроллеры, внутреннюю логику которых производитель периодически совершенствует в новых обновлениях.
При всех описанных преимуществах, у решений с несколькими блоками питания есть и отрицательные стороны:
Необходимость покупать более дорогие проприетарные блоки питания. Как правило, они должны быть одинаковыми, что может вызвать проблемы с заменой для очень старых серверов;
Узким местом становится управляющий блоками питания контроллер и плата, к которой они подключаются (Power Distribution Backplane);
При малой нагрузке больший расход электроэнергии, как следствие специфического алгоритма использования;
Если у вас есть собственный негативный опыт работы с конфигурациями из нескольких блоков питания – было бы интересно почитать в комментариях.
В завершение приведу несколько полезных ссылок на калькуляторы мощности популярных вендоров:
Если вам тоже лень оценивать мощность при выборе очередного нового сервера, то эти инструменты помогут при расчете как мощности блоков питания, так и энергопотребления всего ЦОД.
Вполне возможно,что два блока потому ,что там HOT SWAP(горячая замена),т.е если один полетел, можно его вынуть и заменить, а тем временем автоматом включиться второй. все это без перезагрузки сервака.
То-есть реально работает только один блок?
Я вот тоже думал про разные потенциалы, но вот принтер к примеру имеет свой блок питания и USB-порт не выгорает при подсоединении.
А была ещё мысль, что серверное оборудование дорогое и поэтому при падении одного блока питания, вместе с ним может погореть только половина железа, таким образом ущерб 50%.
В том случае который описал я - да. Реально работает только один, а второй на подхвате.То-есть реально работает только один блок?
Возможно существуют и такие решения,как ты предполагаешь
.. вот принтер к примеру имеет свой блок питания и USB-порт не выгорает при подсоединении.
Вообще-то все устройства должны быть заземлены или хотя бы соединены по общему проводу - тогда ничего выгорать не будет. А USB-разъем сделан так, что сначала соединяются общие провода, а затем уже - сигнальные линии. Поэтому, как только коснулся разъема, девайсы соединяются по общему проводу, и дальнейшее уже не страшно. Правда, при незаземленном оборудовании и подключении к разным фазам при такой ситуации может и кабель расплавиться..
А была ещё мысль, что серверное оборудование дорогое и поэтому при падении одного блока питания, вместе с ним может погореть только половина железа, таким образом ущерб 50%.
Два блока питания в серверах делаются для возможности питания от разных источников - на одном фидере пропало питание - можно питаться от другого. Блоки питания в таком случае должны работать одновременно, ибо включение и вхождение в режим блока, особенно мощного - это процесс достаточно длительный, поэтому идея включения второго блока при выходе из строя первого без перезагрузки сервера никак не возможна. Да и выход блока питания из строя не всегда проходит бесследно для питаемых компонентов..
По-моему, в таких серверах либо системная плата должна предусматривать подключение двух источников, либо еще какая-то дополнительная система аппаратного мониторинга должна быть - может, ее оттуда вытащили вместе с родными блоками, и засунули фуфло какое-нибудь - оттого корпус и стОит так дешево?
Читайте также: