Lpar2rrd не появляются linux

Обновлено: 07.07.2024

IBM System p5 510 Express, по привлекательной цене, представляет собой компактный, высокопроизводительный сервер со специальными функциями обеспечения надежности, идеально подходящий для небольших компаний, а также для подразделений и филиалов организаций среднего размера. IBM System p5 510 Express просты в использовании, установке, управлении. Модель IBM System p5 510 Express создана на базе современного процессора IBM POWER5™, комплектуется набором упрощающих управление инструментов, работает в операционных средах UNIX и Linux и поддерживает функции обеспечения надежности и готовности корпоративного уровня. Благодаря этим особенностям IBM System p5 510 Express является прекрасным решением для выполнения широкого ряда важнейших бизнес-приложений, в том числе для планирования ресурсов предприятия (ERP), для управления отношениями с заказчиками (CRM), для серверов электронной почты, серверов рабочих групп, файловых серверов, серверов печати и Web-серверов.

Автоматический перезапуск сервера после сбоя питания

Если электропитание серверной с завидной регулярностью пропадает на срок, больший, чем рассчитаны аккумуляторы ИБП, можно использовать опцию автоматического включения сервера после сбоя электропитания.

В HMC необходимо зайти в ASMI-интерфейс сервера:

1. В окне HMC workplace необходимо выбрать System Management → Servers.

2. В появившейся области выберите сервер, к которому необходимо подключиться по ASMI

3. Выберете Operations→ Advanced System Management (ASM).

В окне ASMI необходимо найти опцию: Auto Power Restart

По умолчанию она находится в состоянии "Disable". Необходимо установить ее в состояние "Enable".

Полезные консольные команды

HMC удалённая перезагрузка

Войдите в HMC через SSH как hscroot и используйте следующую команду

LPAR перезагрузка через SSH

Чтобы перезагрузить LPAR вы можете воспользоваться графическим интерфейсом HMC или ssh и использовать следующую команду:

Удаленное управление консоли версии 5.2.1 [2] через WebSM-клиент

Установка

На OpenSUSE 10.3

Скачиваем клиент для linux с HMC:

Установщик вывалится с ошибкой:

Пишем в консоли:

Запускаем инсталлятор еще раз и устанавливаем программу.

Заходим в каталог /opt/websm/bin и добавляем эту же строчку в файл websm

Настройка HMC 7.3.4 на удаленное управление

Необходимо разрешить удаленное управление HMC добавив соответствующие галочки в настройках разрешений и внеся ip-адреса управляющих машин в исключения для firewall в настройках сетевого интерфейса.

На управляющей машине необходима JRE 1.5.0 от Sun или IBM (Open JDK из комплекта OpenSUSE 11.1 не работает)

Обновление консоли управления HMC с 5.2.1 до 7.3.4

Если микрокод сервера старой версии и на HMC находятся необходимые для сохранения и переноса данные, обновление с 5.2.1 напрямую до 7.3.4 невозможно. Необходимо провести серию последовательных обновлений.

Обновление возможно осуществить несколькими способами: по сети через TFTP/NFS или же при помощи установочных CD/DVD носителей. В данном руководстве описывается второй способ. Будьте внимательны, сервер не понимает болванки DVD+R/RW, необходимо использовать носители DVD-R/RW или DVD-RAM. Для работы вам потребуется:

  • 1 DVD-RAM для первоначальной резервной копии системы 5.2.1
  • 2 DVD-R или DVD-RAM для HMC V6R1 Recovery DVDs
  • 3 CD для HMC Update V6R1.2 CDs
  • 4 CD для HMC Update V6R1.3 CDs
  • 1 CD-RW/DVD-RW для установки 4х обновлений: MH01082, MH01110, MH01128, MH01127
  • 1 CD для Микрокода сервера SF240_358
  • 2 DVD-R или DVD-RAM для HMC Recovery DVDs версии V7R3.4

Процесс обновления можно разделить на 3 этапа:

  • Обновление HMC с 5.2.1 до 6.1.3 + Fixes
  • Обновление Microcode сервера с SF240_222 до SF240_358
  • Обновление HMC c 6.1.3 до 7.3.4

Обновление HMC с 5.2.1 до 6.1.3 + Service Packs

Резервная копия критически важных данных HMC

Назначение: сделать полную резервную комию текущего ПО HMC

Пункт меню: Backup HMC Data

Тип носителя: DVD-RAM

Время ожидания: весьма долго

Backup HMC перед установкой обновлений

Назначение: сохранить текущую конфигурацию HMC

Пункт меню: Save Upgrade Data

Тип носителя: собственный жесткий диск HMC

Время ожидания: несколько минут

Upgrade HMC c 5.2.1 до 6.1.0
  • Перезвгрузить HMC
  • Загрузиться с первого DVD
  • Выбрать в меню пункт Upgrade
  • По требованию процесса установки вставлять оставшиеся диски

Время ожидания: весьма долго

Update HMC c 6.1.0 до 6.1.2
  • Вставить первый CD
  • В интерфейсе HMC 6.1.0 выбрать в меню пункт Update HMC
  • По требованию процесса установки вставлять оставшиеся диски
  • По завершении update HMC необходимо перезагрузить

Время ожидания: недолго

Upgrade HMC c 6.1.2 до 6.1.3
  • Вставить первый CD
  • В интерфейсе HMC 6.1.2 выбрать в меню пункт Update HMC
  • По требованию процесса установки вставлять оставшиеся диски
  • По завершении update HMC необходимо перезагрузить

Время ожидания: недолго

Установка Fixes для HMC 6.1.3
  • По очереди вставить каждый CD c Fix в соответствии с приведенной выше последовательностью
  • В интерфейсе HMC 6.1.2 выбрать в меню пункт Update HMC
  • По завершении установки каждого Fix HMC необходимо перезагрузить

Время ожидания: очень быстро

Открывается возможность Upgrade HMC до 7.3.4. Выполнены требования для обновления Microcode p510Q до SF240_358.

Обновление Microcode p510Q с SF240_222 до SF240_358

  • Вставить CD с Microcode SF24_358
  • В интерфейсе HMC 6.1.2 выбрать в меню LIC пункт Update Microcode
  • По завершении установки Microcode SF24_358 необходимо перезагрузить вручную или автоматически

Время ожидания: порядка 40 минут

После установки Microcode необходимо погасить клиентские LPARs, VIOS, выключить сервер и включить снова. В свойствах микрокода должна отобразиться новая версия.

Выполнены условия для установки Upgrade до 7.3.4

Upgrade HMC c 6.1.3 до 7.3.4

  • Вставить первый DVD с Upgrade до 7.3.4
  • Перезагрузить HMC и загрузиться с диска
  • По требованию процесса установки вставлять оставшиеся диски
  • По завершении установки необходимо перезагрузить вручную или автоматически

Время ожидания: долго

Таким образом установлены последние версии ПО HMC и Microcode сервера p510Q

Управление Hardware RAID сервера

Загрузите самый свежий Diagnostics ISO образ: запишите его на CD и загрузитесь с этого CD.

Загрузившись, он включит AIX-диагностику которая позволит установить RAID с желаемыми настройками на SCSI диск. Также вам нужно перенастроить все диски, которые должны принадлежать RAID с 512-byte размера блока на 522-byte размер блока, так как только такие могут быть включен в RAID. Когда эти настройки выполнены, ОС не будет видеть отдельные диски, только RAID диски.

Разбиение разделов диска

Грамотная установка VIOS предполагает разделение групп логических томов для клиентов и сервера. По умолчанию VIOS устанавливается на первый диск hdisk0, включая его в группу томов rootvg. Для клиентских машин документация предполагает использование группы томов datavg. Если же клиентские lv будут расположены на rootvg это может создать проблемы при резервном копировании и обновлении vios.

"Note": Using the rootvg on the Virtual I/O Server to host exported logical volumes is currently not recommended. Certain types of software upgrades and system restores might alter the logical volume to target device mapping for logical volumes within rootvg, requiring manual intervention. redb4194.pdf, p.105

We recommend that the virtual I/O client use LVM mirroring if redundancy is required. redb4194.pdf, p.105

Systems in a single server environment under the management of IVM are often not attached to a SAN, and these systems typically use internal and SCSI attached disk storage. The IVM interface allows storage pools to be created on physical storage devices so that a single physical disk device can be divided among several virtual I/O clients. Important: The default storage pool within IVM is the root volume group of the Virtual I/O Server. Be careful not to allocate backing devices within the root volume group because certain types of software upgrades and system restores might alter the logical volume to target device mapping for logical volumes within rootvg, requiring manual intervention. redb4194.pdf, p.105

A single volume group should not contain logical volumes used by virtual I/O clients and logical volumes used by the Virtual I/O Server operating system. Keep Virtual I/O Server file systems within the rootvg, and use other volume groups to host logical volumes for virtual I/O clients. redb4194.pdf, p.106

Программа установки VIO видимо предполагает использование внутренних HDD сервера по-видимому только для работы VIO, клиентские партиции должны подключаться через SAN, весьма негибка в плане настройки параметров hdd и поэтому настроить через нее обе группы должным образом не представляется возможным (так ли это?!).

Установка и обновление VIOS до 2.1.0 + FixPack 20.1

Установка VIOS 1.5.2.1

  • ПО: пустой раздел или VIOS 1.2.1
  • VIOS 1.5.2.1 DVD или скачать 5 iso CD с VIOS 1.5.2.1 (Fix Pack 11.1) с сайта IBM ([13])
  • Ознакомиться с Install Instructions ([14])

Действия (для варианта с VIOS 1.5.2.1 DVD):

  • Вставить диск в p510Q
  • На HMC открыть сервер в терминале, предварительно выбрав режим SMS
  • По окочании установки перезагрузить сервер автоматически или вручную.

Носитель: 1 DVD или 5 CD

Migration c VIOS 1.5.2.1 на VIOS 2.1.0

Действия (для варианта с VIOS 1.5.2.1 DVD):

  • Вставить диск в p510Q
  • На HMC открыть сервер в терминале, предварительно выбрав режим SMS
  • По окочании установки перезагрузить сервер автоматически или вручную.

Установка VIOS 2.1.0 FixPack 20.1

  • Вставить диск в p510Q
  • На HMC открыть VIOS в терминале, войти в систему как padmin и выполнить последовательность команд:
  • проверить, установилось ли обновление:

Установка VIOS 2.1.0 FixPack 21

This fix pack can be burned onto a CD by using the ISO image file(s). After the CD has been created, follow these steps.

The current level of the VIOS must be 2.1.0

1. Login to the VIOS as the user padmin 2. Place the CD-ROM into the drive assigned to VIOS 3. Commit previous updates, by running the updateios command

4. Apply the update by running the following updateios command:

where X is the device number 0-N assigned to VIOS

5. Verify that update was successful by checking results of the updateios command and running the ioslevel command. It should indicate the ioslevel is now V2.1.1.10 FP-21.

6. To load all changes, reboot the VIOS as User padmin

Настройка сети

В ней рассматривается пример создания виртуальной сети внутри VIO с клиентскими адаптерами в различных VLAN'ах.

Мы же опишем настройку VIO для ситуации, когда на клиентские адаптеры приходит 802.1Q [16] трафик. То есть разделением трафика будет заниматься не VIO, а напрямую клиентский LPAR. В крупных средах IBM не рекомендует такой способ, поскольку настройкой коммутаторов, виртуализации и серверов занимаются совершенно разные люди, однако в малых сетях, когда у администратора есть доступ ко всем звеньям цепи это наиболее удобный и простой способ ведения дел.

Конфигурация сетевого интерфейса для удаленного доступа к VIOS:

Создание адаптера SEA для взаимодействия с клиентскими LPAR's:

Назначение vlan'ов витруальным сетевым устройствам:

Virtual SCSI

Для того чтобы началась установка VIO сервера, необходимо выбрать загрузку с CD при первом старте VIO раздела.

VIO установлен в первую партицию hdisk0 (собсвенно, нужно только согласиться с предлагаемым вариантом)

После установки нужно согласиться с лицензионным соглашением:

Создание одной общей LVM-группы со всеми hdd (рекомендуется выделять под разделы сервера отдельную группу datavg):

Можно поступить так, как рекомендуют:

А дальше уже extendvg

Все внешние устройства по слотам:

Если логический раздел должен занимать все оставшееся свободное место в группе томов, выяснить колличество свободного места в группе томов с точностью до мегабайт. Полученное значение использовать при создании виртуального устройства.

Создаем логический раздел (LV) в пока еще пустой группе (VG):

<имя логического устройства> - по нотации из учебного пособия это имя в фотмате [vdLPARnameX]

<имя группы томов> - скорее всего это rootvg

Прикрепить vSCSI адаптер сервера к логическому разделу:

<имя логического раздела> - имя логического раздела, используемого в предыдущей команде

<виртуальный адаптер> - искать в выводе команды lsdev -slots по adapter id. Это имя адаптера сервера, созданного при помощи HMC. Впоследствии именно этот адаптер будет нужно указать в настройках клиентского LPAR.

Then, repeat LV creation & mapping for each LPAR.

Теперь можно активировать клиентские LPAR и приступать к установке ОС.

Backing up the Virtual I/O Server to DVD-RAM

Linux

The two big Linux vendors, Red Hat and Novell, offer licensing and support based on a "per physical machine" system for System P servers. The number of processors in the machine does not adversely affect the cost.

Таким образом, при использовании официальной куленных дистрибутивов RHEL/SLES сервера системы p использовать гораздо выгоднее, чем отдельные x86 машины.

Установка

  • LPAR - виртуальная машина.
  • Required - необходимо. LPAR забирает ресурс себе целиком. Если ресурс занят кем-то еще, то LPAR просто не запускается.
  • Desired - желательно. LPAR может использовать ресурс, если он свободен.

Установка ОС в подготовленный LPAR с DVD:

Рекомендуется копированием создать 2 профиля у LPAR:

  • <имя LPAR>_dcd - оптический привод отмечен как desired
  • <имя LPAR>_nocd - оптический привод не выбран

Перед установкой необходимо деактивировать LPAR`ы, которые используют дисковод как required. Только в этом случае LPAR, в профиле которого дисковод подключен как desired, сможет его использовать.

Профиль LPAR для устаноки SUSE с DVD выбрать <имя LPAR>_dcd. Для смены профиля LPAR должен быть деактивирован. При activate LPAR открыть окно терминала по умолчанию в случае, если LPAR чистый. Тогда сначала будет проверен boot-сектор винчестера, затем попытка загрузки с оптического привода и загрузка по сети. Если необходимо выбрать загрузку с оптического привода вручную, то терминал запустить с оболочкой SMS, выбрав ее в меню advanced.

Производим установку ОС.

Сетевому адаптеру выдаем ip-адрес вроде 192.168.0.X - он нам неважен. В нашем случае до клиентской машины приходит тегированный 802.1Q трафик, поэтому настройку VLAN`ов проводим на клиентской машине (VLANы_в_SUSE).

По окончании установки ОС деактивировать LPAR и сменить профиль LPAR на <имя LPAR>_nocd. Затем снова активировать LPAR с установленной ОС и выключенные LPAR`ы для освобождения оптического привода.

Далее проверяем установлен ли пакет VLAN.

Что бы создать V-Lan вручную, заходим в /etc/sysconfig/network/ и создаем файл ifcfg-vlan.template - это будет наша универсальная заготовка:

Копируем заготовку и в новом файле подставляем реальные параметры.

После настройки всех VLAN, делаем rcnetwork restart, и если все правильно, ifconfig покажет поднявшиеся виртуальные интерфейсы.

Затем обязательно редактируем файл /etc/sysconfig/SuSEfirewall2. Находим строчку FW_TRUSTED_NETS и подставляем туда ip-адрес нашей консоли HMC. Например вот так:

Скачиваем ее на свежеустановленный LPAR в директорию /usr/local/src/IBMTools, и устанавливаем:

После установки мы приобретаем возможность управлять выключением LPAR'а с HMC и использовать опцию динамического выделения ресурсов DLPAR. Виртуальная машина полностью сконфигурирована для удаленной работы через ssh.

Q: I am wondering how to get a gui interface wehn doign a new install of Redhat 4 using a HMC?

A: Add a boot option "vnc=1 vncpassword=yourpass" and you will be able to use VNC after network configuration.

Утилита LPAR2RRD - это бесплатное средство мониторинга для сред VMware vSphere и IBM Power Systems без агентов, которое позволяет отслеживать различные аспекты производительности хостов и виртуальных машин. Если же поставить агенты в ОС, то решение будет работать и с такими системами, как AIX & Linux, IBM i (AS/400) и Solaris.

  • Мониторинг ресурсов
    • vCenter
    • Cluster
    • Resource Pool
    • Datastore
    • ESXi
    • Virtual Machine
    • Производительность CPU (GHz, число CPU, показатель CPU ready)
    • Использование памяти (reserved, granted, consumed, active, baloon, swap in, limit)
    • Производительность LAN в МБ/сек
    • Производительность дисковой подсистемы (МБ/сек, IO per sec, latency в миллисекундах)
    • Использование дисков (ГБ)
    • Функция Trends
    • Исторические отчеты
    • Функции Heatmap
    • Возможность масштабирования графиков

    Для тех, кто знаком с этим решением, вот список новых возможностей LPAR2RRD 6.1, вышедшей в октябре:

    • Новый раздел Dashboard - полностью кастомизабельное пространство для графиков и диаграмм. Пользователь может менять размер графиков, создавать группы и двигать графики между ними.
    • Раздел Heatmap - добавлена визуализация в сортируемых и фильтруемых таблицах.
    • Улучшенная конфигурация через REST API для IBM Power Systems в части виртуальных сетей vSCSI и NPIV.
    • Поддержка папок для vSphere (VM, Datastores).
    • Таблица использования пространства виртуальными машинами в кластере (VM SPACE).
    • Поддержка формата CSV в компоненте Reporter.
    • Структура меню Hyper-V консолидирована по использованию ресурсов на вкладках вместо подразделов меню.
    • Поддержка Solaris: мониторинг пулов.
    • Reporter: поддержка Solaris и Hyper-V.
    • Reporter: поддержка функционала TOP10 (графики можно вывести в pdf).
    • Reporter: доступен файл с рекомендациями конфигурации в формате CSV.
    • Поддержка кастомных групп для Hyper-V.
    • Улучшения контроля доступа (ACL) - роль read-only.
    • Множество небольших улучшений и багофиксов для следующих платформ:
      • IBM Power Systems: HMC REST API
      • Oracle Solaris
      • Microsoft Windows и Hyper-V

      Меня давно интересовало что происходит в SAN-сети, когда наступает ночь. Веб-интерфейс FC-коммутаторов Brocade не позволял смотреть историческую информацию, да и показывал информацию только по одному FC-коммутатору.

      В ПО Brocade Network Advisor Profession Edition (бесплатном) вроде бы не хранится история, или же мне его интерфейс показался совсем вырвиглазным.

      Так бы я дальше грустно и жил, если бы не узнал, что есть такой продукт как Stor2rrd.

      Под катом перевод руководства по настройке Stor2rrd применительно к апплайнсу.

      Этот открытый и бесплатный продукт разработан для мониторинга производительности и емкости СХД и FC-коммутаторов.

      Stor2rrd поставляется, как в виде линуксового пакета, так и в виде готового апплайнса под VMware/Hyper-V. Я выбрал вариант апплайнса под VMware.

      Аппаратные требования скромные: на тест хватит 2 vCPU/6GB Ram/50GB HDD (thin).

      После развертывания апплайнса и получения адреса по DHCP можно заходить на веб-интерфейс (admin/admin) и подключаться по ssh (lpar2rrd/xorux4you). У root пароль такой же, как у lpar2rrd. IP-адрес меняется в консоли (там есть подсказка по вызову команды).

      Проверка доступности FC-коммутаторов

      Для добавления коммутаторов в наш апплайнс подключитесь по ssh к нему.

      На коммутаторах потребуется включить SNMP мониторинг на стандартном порту.

      После этого вы можете проверить, что Stor2rrd может к ним подключиться:

      В качестве SNMP community используется общеизвестный public. Если вы не хотите использовать данный community, вы можете завести другой и прописать его в конфигурации stor2rrd (да и в тесте snmpwalk).

      Если snmpwalk выдает ответ, содержащий имя коммутатора, все работает как надо. В противном случае я предлагаю обратиться к секции Troubleshooting официального гайда.

      Редактирование конфигурации

      Откройте редактором etc/san-list.cfg (если вы подключились по ssh под пользователем root, то этот файл расположен в каталоге /home/lpar2rrd/stor2rrd/etc).

      Этот файл содержит описание всех коммутаторов в следующем виде:

      Если вы используете FC-коммутаторы Brocade, SNMPv1 и SNMP community public, то данная строка выглядит, например, так:

      Обратите внимание на то, что SAN-фабрику вы указываете только для одного FC-коммутатора из нее. Далее Stor2rrd сам определит принадлежность FC-коммутаторов к SAN-фабрикам.

      Дальнейшая настройка Stor2rrd

      Проверьте, что все FC-коммутаторы, перечисленные в файле конфигурации доступны:

      Через 20 минут перестройте данные:

      Результат

      Теперь вы можете открыть веб-интерфейс и наслаждаться вашими FC-коммутаторами:

      Мне понравился Heatmap, показывающий утилизацию портов:

      heatmap

      TOP самых загруженных FC-коммутаторов за сутки:

      top

      По каждому порту доступна история вплоть до года:

      portstat

      Звезда рядом с графиком позволяет вывести этот график на основной Dashboard.

      На этом у меня все. Как оно вам?

      Настройка мониторинга SAN с помощью Stor2rrd: 4 комментария

      Спасибо, Korp.
      Стало немного понятнее.

      Появилась версия Stor2rrd 2.20
      При смене пароля web-пользователя admin я что-то нарушил в этом аплайнсе. Пришлось переразворачивать 🙁

      Добавить комментарий Отменить ответ

      Перейти с Порше на Жигули - такое себе решение!

      Мысли в слух " а может перейти на proxmox " Что-то в последняя время ESXi не стабильно стал по обновлениям.…

      Подскажите, как и какими средствами можно мониторить загрузку всех процессоров на железке, если на ней несколько разделов и используется Shared CPU pool ? Такой же вопрос относительно памяти, как узнать сколько реально отъедается памяти всеми разделами из общего пула физической памяти?

      Подскажите, как и какими средствами можно мониторить загрузку всех процессоров на железке, если на ней несколько разделов и используется Shared CPU pool ? Такой же вопрос относительно памяти, как узнать сколько реально отъедается памяти всеми разделами из общего пула физической памяти?

      мониторить можно только ресурсы отдельно взятого раздела средствами OS раздела. Память для раздела выделяется столько сколько указано в параметре раздела (предпочитаемая память). Использование памяти на разделе мониторится средствами операционки данного раздела. На сколько мне известно нельзя мониторить ресурсы которыми управляет Супервизор. Эта часть закрыта от пользователя.

      у Вас AIX? разрешить в /etc/inetd.conf xmquery и topas -C

      Это какое то некрасивое решение. Тем более, опросив все разделы, получится некая цифра, а вот какой это процент в реальности от общего пула процессоров сложно понять будет.

      Такой механизм позволяет реально мониторить состояние не только партиций одного сервера, а всех партиций всех систем. Обобщенные цифры не нужны. Нужно отображение информации о параметрах работы всех систем по отдельности, но в одном месте. Причем, это нетолько информация о загрузке процессора, но и любая другая информация о критических параметрах систем. Это позволяет мгновенно увидеть возникшую проблему и принять соответствующие действия для ее устранения.

      Это IBMовский миф, что процессоры шаренного пула используются всеми партициями в конкурентном режиме. В реальности, при достаточном числе активных ядер, гипервизор делит общий пул процессоров обычно так, что бы партиции работали на невидимых подпулах, т.е. система разводит нагрузку работы партиций по разным ядрам. Размер этих подпулов соответствует стартовым параметрам партиций в части процессорной мощности. Партиция может в пиках задействовать “чужие” ядра, но при любом удобном случае мгновенно возвращает активность на “свои родные”. В соответствии с подпулами формируется и разбивка выделения оперативной памяти. Система выделяет ту память партиции, которая находится на той же ноде, что и подпул процессоров. Все соответствия между подпулами процессоров и областями памяти оптимизированы на момент полного рестарта сервера. Все дальнейшие DLPAR процессоров и памяти выводят систему из этого равновесного состояния.

      Подскажите, как и какими средствами можно мониторить загрузку всех процессоров на железке, если на ней несколько разделов и используется Shared CPU pool ?

      4) Самописные мега-скрипты, работающие на каждом LPAR, с консолидацией данных в одном месте и оценкой загрузки по придуманным Вами алгоритмам. Наиболее замороченный вариант, но кастомизация полная.

      По п.2 я нашел lpar2rrd tool. Это оно?

      Бинго!
      Да, это оно. 🙂

      Lists utilization data collected for a managed system.

      ну а пункт 4 без самописных скриптов идёт как опция к IBM i

      Читайте также: