Принципы работы компьютера ломоносова

Обновлено: 30.06.2024

Суперкомпьютер «Ломоносов» — компьютер, которому нет аналогов в России. По состоянию на 2011 год он занимал в списке наиболее мощных машин мира 13-е место. Кроме него в топ-100 входят лишь четыре российских компьютера – МВС-100K Межведомственного суперкомпьютерного центра РАН (75-е место), а также суперкомпьютеры Курчатовского института и Южноуральского университета в Челябинске (84-е и 86-е места). Он расположен во втором учебному корпусе МГУ, по соседству с профильным факультетом вычислительной математики и кибернетики. Однако крыло, которое занимает суперкомпьютер, выгодно отличается от всего корпуса — весьма невзрачного здания, построенного в 70-х годах и сохранившего все оригинальные черты. «Ломоносов» и прилегающие помещения «одеты с иголочки»: современные комнаты со стеклянными дверями, автоматизированная система пропуска к самому компьютеру и инфраструктуре.

Из почти тысячи квадратных метров площади, числящейся за компьютером, собственно вычислитель занимает лишь 252 кв. м. Пускают в святая святых только в бахилах, обычный состав группы посещения не более трех человек.

В помещении стоит невообразимый шум, разговаривать почти невозможно: это работает гигантская охлаждающая система, отводящая тепло от десятков тысяч процессоров.

Инфраструктура, обеспечивающая работу системы, более масштабна: на 246 кв. метрах расположена система бесперебойного питания, которая способна поддерживать работу компьютера в течение 15 минут при условии отключения внешнего питания. За это время все данные расчетов должна быть сохранены, а суперкомпьютер отключен в корректном режиме. Еще 85 кв. м занимает главный распределительный щит.

На пике мощности вычислитель потребляет 1,8 МВт энергии, а вместе со всем комплексом – 3.05 МВт.

Климатическая система расположена на 216 кв. метрах. Водяное охлаждение настроено так, что 6 баков по 30 тонн воды смогут успешно автономно охлаждать компьютер в течение тех самых 15 минут после отключения электроэнергии, которые необходимы для корректного завершения работы. В зал климатической системы журналистов не пускают. «Это подвал 70-х годов постройки, со всеми вытекающими последствиями», — сетует Всеволод Опанасенко, генеральный директор компании «t-Платформы» — российского суперкомпьютерного монополиста, которая спроектировала, а теперь обслуживает компьютер.

Несмотря на возраст подвала, со своей задачей он пока вполне справляется. Во время небывалой жары лета 2010 года, когда во многих офисах отключали охлаждение комнат, чтобы спасти обычные серверы, гигантский суперкомпьютер работал в штатном режиме. Инфраструктура вполне справилась с нагрузкой, допустив повышение температуры в помещении, где находятся процессоры, всего на полградуса.

«Весь суперкомпьютер со всей инфраструктурой (площадь около 1000 кв. м) обслуживают всего восемь человек технического персонала,

Автоматизированное обслуживание стало практически обязательным для суперкомпьютеров сегодня, признает он. «Однако в 2009 году, когда мы создавали эту систему, таких были единицы. Японский суперкомпьютер, который был построен в 2002 году и занимал лидирующее положение до 2008 года, например, еще обслуживался достаточно большим штатом — в несколько десятков человек», — утверждает он.

Несмотря на то что в полную силу суперкомпьютер заработал лишь в прошлом году, ученые уже рассказывают о статьях, опубликованных по работам на нем.

«То, над чем раньше мы работали годы, нам теперь удается делать за дни»,

— отмечает проректор МГУ, академик РАН, известный специалист в области полимерного материаловедения Алексей Хохлов.

С суперкомпьютером связывает свои успехи и знаменитый разработчик «эликсира молодости» академик Владимир Скулачев. Без суперкомпьютера немыслимо смоделировать движение молекул через клеточную мембрану: приходится рассчитывать положение миллионов атомов. А эта стадия является ключевой для понимания механизма доставки антиоксидантных ионов, которые могут приостановить окислительные процессы в клетке и победить старость.

Расчеты на суперкомпьютере объединяют десятки совершенно не связанных формально областей.

Сверхмощные вычисления позволяют смоделировать работу биологических молекул в организме и поведение новых материалов, изучить глобальный климат и помочь в сейсморазведке нефти, обеспечить безопасность ядерного реактора и создать кресло для пилота истребителя, которое катапультируется на сверхзвуковой скорости.

По формальному методу оценки, принятому в международном сообществе (публикационной активности), некоторые группы, работающие на суперкомпьютере, выглядят очень неплохо. Публикации в Proceedings of the National Academy of Sciences и Accounts of Chemical Research вполне почетны и для американского профессора. Несмотря на это, формальных требований по отчетности публикациями (как это принято, например, на международных синхротронах) «Ломоносов» не предъявляет, признают сотрудники центра. Для публикаций, сделанных с использованием вычислений на нем, обязательным является лишь указание суперкомпьютерного центра в графе «благодарности».

Суперкомпьютер «Ломоносов» — суперкомпьютер, построенный компанией «Т-Платформы» для МГУ им. М.В. Ломоносова. [Источник 1] В 2014 году был разработан его приемник – суперкомпьютер «Ломоносов-2», являющийся самым мощным суперкомпьютером России и Восточной Европы пиковая производительность которого на данном этапе составляет 2,57 петафлопс. Он также установлен в Московском государственном университете имени М.В. Ломоносова и создан с целью увеличения производительности суперкомпьютерного комплекса МГУ для поддержки исследований на ведущем мировом уровне в части проведения крупных и ресурсоемких расчетов, использующих свыше тысячи процессоров одновременно. По завершении тестирования, система попала на 22-е место 44 редакции списка мирового суперкомпьютерного рейтинга ТOP500 с реальной производительностью 1,84 петафлопс. [Источник 2]

Содержание

История

Рисунок 1 – Дмитрий Медведев и президент МГУ Виктор Садовничий на презентации суперкомпьютера «Ломоносов», 2009 год

Суперкомпьютер «Ломоносов» был установлен в МГУ в 2009 году. Этот суперкомпьютер был разработан российской компанией «Т-Платформы». В церемонии его запуска принял участие Президент Российской Федерации Д. А. Медведев, который и предложил назвать суперкомпьютер именем великого русского ученого (см. рисунок 1).

В 2014 году был разработан суперкомпьютер нового поколения «Ломоносов-2». При его создании использовались сверхинтегрированные решения A-Сlass компании Т-Платформы. С июня 2014 года Ломоносов-2 проходит фазу тестирования и сертификации. В ноябре 2014 система, состоявшая из 1280 узлов (5 стоек) на базе процессоров Xeon E5 v3 и ускорителей Nvidia K40M, заняла 22 место в мировом рейтинге суперкомпьютеров TOP500, продемонстрировав производительность в 1,85 петафлопс на тесте HPL Linpack при энергопотреблении порядка 0.65 МВт. [Источник 3] По сравнению с предыдущими поколениями суперкомпьютеров Московского университета увеличен объем и улучшена структура оперативной памяти, что исключительно позитивно сказалось на эффективности практически всех приложений пользователей, работающих на суперкомпьютере «Ломоносов-2». Это качественное расширение суперкомпьютерного комплекса, призванное значительно ослабить острейший дефицит высокопроизводительных вычислительных ресурсов, доступных для научно-образовательного сообщества России: на суперкомпьютерах МГУ работают 2500 пользователей из 20 подразделений МГУ, более 100 институтов Российский академии наук, более 100 университетов России, решая задачи, отвечающие всем направлениям Стратегии научно-технологического развития Российской Федерации. [Источник 4]

Этапы разработки

Основные этапы разработки: [Источник 5]

2009 год – Первый этап: проектирование, монтаж и ввод в эксплуатацию базовой части “Ломоносова”. Главная вычислительная секция состояла из 4160 двухпроцессорных бездисковых вычислительных узлов на основе 4-ядерных процессоров Intel Xeon 5570. Во вторую секцию включены 260 двухпроцессорных вычислительных узлов с 4-ядерными процессорами Intel Xeon X5570 и локальные жесткие диски. Общее количество процессорных ядер x86 составило 35 360. Помимо вычислительных узлов x86, суперкомпьютер включал 26 узлов на базе ускоряющих сопроцессоров PowerXCell8i. Общий объем памяти составил 56,5 ТБ, объем хранилища - 0,35 ПБ, объем резервной системы – 234 ТБ без сжатия. Потребляемая мощность суперкомпьютера составила 1,5 МВт. В то время его пиковая производительность оценивалась в 420 TFlops, а производительность Linpack – 350 TFlops, что привело к очень хорошему показателю эффективности в 83%. Такой уровень производительности позволил "Ломоносову" возглавить список самых мощных компьютеров в СНГ и Восточной Европе. В ноябре 2009 года он занял 12-е место в списке Top500 самых мощных суперкомпьютеров мира.

2010 год – второй этап. Система пополнилась 640 бездисковыми вычислительными узлами на базе вычислительной платформы TB2-XN и 40 вычислительными узлами, оснащенными локальным хранилищем на жестких дисках. Каждый из новых вычислительных узлов был оснащен 6-ядерным процессором Intel Xeon X5670 в качестве ЦПУ. Общий объем оперативной памяти увеличился до 79,92 ТБ, хранилища - до 1,75 ПБ. Пиковая производительность суперкомпьютера увеличилась до 510 TFlops, а производительность Linpack составила 397,1 TFlops. Эффективность составила 77,8%. Это падение производительности относительно предыдущего года было вызвано неоднородностью системы, так как в тесте использовались вычислительные узлы с различными ЦПУ.

2011 год – третий этап: расширение системы. В соответствии с тенденциями в индустрии суперкомпьютеров “Ломоносов” был дополнен 777 вычислительными узлами, оснащенными ускоряющими сопроцессорами GPU. В качестве аппаратной платформы для узлов было использовано решение TB2-TL, где каждый узел имеет два ЦП Intel Xeon E5630 и два аппаратных ускоряющих сопроцессора NVIDIA X2070. Пиковая производительность компьютерной системы составила 1,37 PFlops, а производительности Linpack – 674 TFlops. "Ломоносов" занял 13-е место в июньском списке Top500 2011 года. В июне 2011 года “Ломоносов” был включен в список Graph500. По результатам тестов система заняла третье место (позиции распределялись по показателям рабочей нагрузки (workload)), однако показала лучшую производительность среди всех остальных систем в списке. В ходе испытаний с использованием 8192 ядер на 4096 узлах на базе процессоров Intel Xeon 5570 был получен результат в 43.471.500.000 TEPS (Traversed Edges Per Second, то есть количество ребер графа, обработанных за секунду). Позднее система заняла 2-е место в ноябрьском списке 2011 года с результатом 103,251,000,000 TEPS и использованием 32,768 ядер / 4096 узлов на базе процессоров Intel Xeon 5570.

2012 год - четвертый этап расширения системы. Суперкомпьютер дополнительно оснащен 288 вычислительными узлами с процессорами Intel Xeon X5570/X5670 и графическими GPU ускорителями. Его общий объем памяти увеличился до 92 ТБ, сейчас компьютер потребляет 2,8 МВт. В результате модернизации пиковая производительность вычислительной системы была увеличена до 1,7 PFlops, а производительность Linpack достигла 901,9 TFlops.

Общие характеристики

Ломоносов

Рисунок 2 – 3D модель комплекса суперкомпьютера «Ломоносов» с системами охлаждения и энергосбережения

Суперкомпьютер «Ломоносов» был установлен в МГУ в 2009 г. По состоянию на начало 2013 г. его пиковая производительность составляет 1,7 Пфлопс, а реальная производительность – около 900 Тфлопс. C этой же мощностью в редакции рейтинга Топ-50 мощнейших вычислительных систем России и СНГ за сентябрь 2013 г. эта система занимает первое место. В мировом рейтинге Топ-500 за июнь 2013 г. «Ломоносов» занимает 31-ю строчку.

Основные технические характеристики

Суперкомпьютер имеет гибридную архитектуру: помимо вычислительных узлов на базе х86-процессоров в нем также используются графические ускорители. По состоянию на начало 2013 г. система включает 5 104 вычислительных узлов на базе х86-процессоров и 1 065 графических вычислительных узлов. Кроме того, в суперкомпьютере используется 30 вычислительных узлов на базе процессоров Cell от IBM. Оперативная память суперкомпьютера составляет 92 ТБ, а общий объем дисковой памяти вычислителя – 1,75 ПБ.

Вычислительная часть суперкомпьютера «Ломоносов» занимает площадь в 252 кв. м. Обеспечивающие работу «Ломоносова» система бесперебойного электропитания, главный распределительный щит и климатическая система занимают помещения площадью 246 кв. м., 85 кв. м. и 216 кв. м. соответственно. Энергопотребление непосредственно вычислителя составляет 2,6 МВт.

Использование

Суперкомпьютерные ресурсы МГУ используется, в первую очередь, для выполнения фундаментальных научных исследований, требующих ресурсоемких вычислений. Среди таких задач - масштабные работы по глобальному изменению климата и динамике мирового океана, обработке сейсмических данных, постгеномной медицине, механизмам формирования галактик и другие.

Одной из наиболее известных задач, которая решалась с помощью «Ломоносова», можно назвать запуск на нем модели развития социально-экономической системы России на 50 лет вперед.

Помимо собственных научных коллективов доступ к суперкомпьютеру предоставляется и сторонним исследователям. К примеру, специалисты ИПМ им. М.В. Келдыша РАН использовали суперкомпьютер «Ломоносов» для масштабного моделирования задач аэроакустики, под которое задействовали до 12 800 ядер вычислительной системы.

История

2014: Снижение позиции в рейтинге Топ 500

18 ноября 2014 год СМИ сообщили [1] о новом результате кластера «Ломоносов», размещенного в МГУ.

По сравнению с 2013 годом, «Ломоносов» спустился на 16 позиций в рейтинге Топ 500 и занял 58 строку с результатами тестов 1,7 Пфлопс и 0,9 Пфлопс по Linpack, соответственно.

2013: Суперкомпьютер «Ломоносов» вышел из комы

После почти трехмесячного сбоя работа суперкомпьютера «Ломоносов» восстановлена, сообщили TAdviser в Научно-исследовательском вычислительном центре МГУ (НИВЦ МГУ) в начале октября 2013 г. По словам представителя центра, ввод в строй вычислительных узлов системы велся постепенно с начала сентября, и к концу месяца они стали доступны для пользователей в полном объеме.

«Одна сгорела еще в мае во время счета больших задач, вторая - в июне, когда проходила летняя школа по параллельным вычислениям и была жара в Москве», - говорит сотрудник МГУ.

Перебои возникли и с электроснабжением второго крупнейшего суперкомпьютера МГУ – «Чебышев», однако в середине июля НИВЦ МГУ сообщал о восстановлении работы примерно половины его вычислительных узлов.

Сообщалось также, что на функционирующей электроподстанции работает служебная часть «Ломоносова», к которой пользователям открыли доступ того, чтобы те могли скопировать нужные данные с файловой системы при необходимости. Ожидаемые сроки устранения последствий аварии в НИВЦ МГУ назвать затруднялись, отмечая, что это «технологически очень сложные работы».

В августе недовольные длительной недоступностью «Ломоносова» пользователи организовали сбор подписей для подачи петиции ректору МГУ Виктору Садовничему с просьбой принять срочные меры для восстановления работоспособности суперкомпьютерного комплекса.

«Научная работа сотни ученых фактически полностью встала - как если бы людям просто закрыли доступ в лабораторию! Многие студенты и аспиранты оказались в безвыходной ситуации: для подготовки дипломных и кандидатских работ им необходимо проводить расчеты!», - говорится в петиции и там же отмечается, что сегодня большая часть теоретических работ по физике, химии, биологии, математике и информатике и другим наукам требует детальных компьютерных расчетов.

Стоит отметить, что перебои в электроснабжении суперкомпьютерного комплекса, из-за которых нарушалась его работа, правда, на значительно меньший срок, наблюдались и ранее. Например, в ноябре 2012 г. Тогда в НИВЦ МГУ их связывали с «техническими проблемами в энергосистеме г. Москвы».

2010-2012: Модернизация

На момент установки в 2009 г. заявленная пиковая мощность суперкомпьютера составляла 414 Тфлопс. В конце 2010 г. ее нарастили до 510 Тфлопс, а в июне 2011 г. сообщалось о завершении модернизации суперкомпьютера до 1,3 Пфлопс. В 2012 г. был завершен проект по увеличению производительности системы до 1,7 Пфлопс.

Суперкомпьютер «Ломоносов», установленный в Московском университете в 2009 году, относится к уникальным системам высшего диапазона производительности. В настоящее время он содержит 6654 вычислительных узла, более 94000 процессорных ядер, обладает пиковой производительностью 1,37 Пфлоп/с. Реальная производительность системы на тесте Linpack равна 674 Тфлоп/с, что позволило ему занять в июне 2011 года 13–ое место в списке Top500 самых мощных компьютеров мира.

Впервые столь мощную вычислительную систему удалось разместить на площади всего 252 квадратных метра: по вычислительной плотности «Ломоносов» сегодня не имеет себе равных в мире, потребляя не более 2,8 МВт электроэнергии. Однако помимо высокой плотности и оптимального энергопотребления вычислитель такого масштаба должен обеспечивать высокую скорость решения реальных прикладных задач. Для этого в суперкомпьютере используется 6 видов вычислительных узлов и процессоры с различной архитектурой, а также специальные сети, что позволяет получать высокую производительность максимально широкого спектра приложений.

Появление суперкомпьютера «Ломоносов» в Московском университете закономерно: с момента появления первых отечественных компьютеров в середине 50–х годов прошлого столетия МГУ всегда был оснащен крупными вычислительными установками. В декабре 1956 года, практически сразу после создания Вычислительного центра МГУ, в нем была установлена ЭВМ «Стрела» — первая отечественная серийная машина. Экземпляр МГУ имел серийный номер 4, что говорит о том исключительно важном значении, которое придавало Московскому университету Правительство страны в развитии передовых вычислительных технологий.

В конце 50–х годов в Вычислительном центре МГУ была спроектирована и запущена в эксплуатацию ЭВМ «Сетунь» — первая в мире вычислительная система, основанная не на двоичной, а на троичной системе счисления. Позже данная машина была запущена в серийное производство.

Одно из самых почетных мест в истории отечественной вычислительной техники по праву принадлежит машине БЭСМ–6. Её разработка была завершена в 1967 году, на следующий год она была запущена в серию, и тогда же одним из первых в Советском Союзе ее получает Вычислительный центр МГУ. Всего было выпущено 355 машин, а экземпляр Московского университета имел порядковый номер 13. Эта машина оказалась исключительно удачной и востребованной, к 1979 году в МГУ работало уже четыре экземпляра БЭСМ–6.

Начало современного этапа развития вычислительной техники в МГУ, которое связано с использованием параллельных вычислений и суперкомпьютерных технологий, было положено в 1999 году. Именно в это время был самостоятельно собран, отлажен и запущен в эксплуатацию первый вычислительный кластер, объединивший высокоскоростной сетью 12 двухпроцессорных компьютеров в единую параллельную вычислительную систему.

В настоящее время суперкомпьютерный комплекс Московского университета является крупнейшим суперкомпьютерным центром России, а флагман суперкомпьютерного комплекса — суперкомпьютер «Ломоносов», безусловно, входит в число наиболее значимых суперкомпьютерных установок мира. С 2000 года производительность суперкомпьютеров комплекса выросла почти в тридцать тысяч раз.

На сегодняшний день ядром суперкомпьютерного комплекса МГУ являются: cуперкомпьютер «Ломоносов» с пиковой производительностью 1,3 Пфлоп/с, суперкомпьютер «Чебышев» с пиковой производительностью 60 Тфлоп/с и суперкомпьютер IBM Blue–Gene/P с пиковой производительностью 27 Тфлоп/с. Суперкомпьютерный комплекс активно развивается, а в его состав включаются вычислительные системы, построенные на новых принципах. Среди них — использование графических процессоров. Сначала это нашло отражение в экспериментальной установке от Hewlett–Packard «ГрафИТ!», объединившей 48 графических процессоров в рамках одной стойки, а затем было реализовано в полном масштабе в виде специального раздела суперкомпьютера «Ломоносов», содержащего 1554 графических процессора от NVidia.

Суперкомпьютер «Ломоносов» — уникальный универсальный инструмент, помогающий ученым практически всех специальностей получать результаты мирового уровня. Возможностями суперкомпьютерного комплекса Московского университета, основу которого составляет суперкомпьютер «Ломоносов», сегодня пользуются более 500 научных групп, представляющих все основные подразделения МГУ, многие институты РАН и другие научные учреждения России.

Среди направлений фундаментальных исследований, требующих использования суперкомпьютерных вычислительных мощностей, — магнитная гидродинамика, гидро– и аэродинамика, квантовая химия, сейсмика, компьютерное моделирование лекарств, геология и науки о материалах, фундаментальные основы нанотехнологий, инженерные науки, криптография и многое другое.

С помощью суперкомпьютера «Ломоносов», который принимает на себя основную вычислительную нагрузку в рамках суперкомпьютерного комплекса МГУ, уже получены уникальные результаты в разных областях науки, например, в исследовании механизмов генерации шума в турбулентной среде или же в создании новых компьютерных методов проектирования лекарственных препаратов.

Совместной группой мехмата МГУ и Института прикладной математики РАН получены важные результаты по численному моделированию формирования и развития концевых вихрей на сверхзвуковых режимах. Эта задача требует огромных вычислительных ресурсов.

Повышение эффективности нефтегазовой отрасли напрямую зависит от мощности применяемых высокопроизводительных вычислительных систем. Это верно как на этапе поисков и разведки месторождений горючих полезных ископаемых, так и на этапе их освоения и эксплуатации. В процессе извлечения информации из сейсмических данных необходимо подавить волны–помехи, оценить глубинно–скоростную модель среды и построить глубинное изображение участка земной коры в районе наблюдений. Особая проблема связана с тем, что объём данных на одном месторождении может достигать десятков и сотен терабайт, что диктует необходимость применения самых мощных суперкомпьютеров.

В настоящее время на суперкомпьютере «Ломоносов» решается ряд важных задач обработки сейсмических данных. В частности, при помощи высокоэффективного метода 3D SRME осуществляется подавление волн–помех, обусловленных переотражением от свободной поверхности в нижнее полупространство, проводится построение глубинного изображения среды при помощи метода миграции в обратном времени — каждый расчет каждой из этих задач требует несколько тысяч процессорных ядер суперкомпьютера «Ломоносов».

Перспективные результаты получены группой ученых ИПМ РАН по моделированию режимов охлаждения современных процессоров. Показано, что радиаторы рассматриваемой конструкции должны иметь не менее 25 ребер для предохранения процессора от перегрева. Оптимальной является конфигурация с количеством ребер более 757–100, при которой процессор с потребляемой мощностью 65 Вт ни в какорежиме не нагревается выше 70°С.

Ввод в строй суперкомпьютера «Ломоносов» позволил решить ряд важных задач для ведущих промышленных отраслей России — аэрокосмической (РКК «Энергия» им. С.П. Королева) и атомной (ОКБМ им. И.И. Африкантова). Для нужд РКК «Энергия» с помощью «Ломоносова» были проведены расчеты обтекания перспективного космического корабля «Русь» при торможении в атмосфере Земли и посадки на ее поверхность. На «Ломоносове» также была решена задача о массотеплообмене в устройстве сепарации окислов натрия в первом контуре перспективного ядерного реактора, разрабатываемого ОКБМ им. И.И. Африкантова.

Реалии сегодняшнего дня требуют изменения основ образования в области вычислительных наук: во главу угла должны быть поставлены идеи параллельной обработки данных. Компьютерный мир изменился, из последовательного он превратился в параллельный, и именно этот факт нужно отразить в современной системе подготовки специалистов. Важно и то, что в силу универсальности вычислительных технологий подобные изменения должны затронуть практически все естественнонаучные и инженерные специальности, что определяет масштабность проекта.

В Московском университете сформирован Научно–образовательный центр «Суперкомпьютерные технологии», объединяющий представителей различных подразделений МГУ для эффективного использования потенциала суперкомпьютерных технологий в подготовке высококвалифицированных специалистов и поддержке фундаментальных научных исследований. НОЦ «Суперкомпьютерные технологии» МГУ стал головным в системе научно–образовательных центров, созданных в различных федеральных округах России в рамках проекта «Суперкомпьютерное образование», координируя их деятельность по распространению и развитию суперкомпьютерных технологий в различных регионах страны.

Читайте также: