Sas grid что это
Обновлено: 04.07.2024
Юникредит-банк подвел итоги проекта по кластеризации и созданию высокопроизводительного корпоративного хранилища данных на базе SAS Grid Manager.
Применение новых инструментов помогло повысить скорость обработки данных, увеличить количество одновременно выполняемых операций, сократить допустимое время простоя сервиса с суток до 1 часа, свести до нуля вероятность потери данных в случае системного сбоя, а также сократить издержки на закупку и поддержку аппаратной части хранилища.
Чтобы поддержать развитие бизнеса и минимизировать время подготовки обязательной отчетности, ИТ-специалистам банка нужно было обеспечить высокую отказоустойчивость хранилища данных, снизить технологические риски и расходы на техническое сопровождение. Два года назад допустимое время простоя сервисов хранилища данных до полного восстановления его работоспособности в случае глобального сбоя (RTO) составляло 24 часа, а глубина допустимой потери данных в случае такого сбоя (RPO) также составляла 24 часа. Новые бизнес-задачи потребовали снижения первого из этих показателей до 1 часа, а второго — до нуля. Иными словами, в случае сбоя никакие загруженные в хранилище данные вообще не должны были потеряться.
Чтобы оптимизировать ИТ-инфраструктуру, обеспечить надежную защиту от сбоев и высокую скорость исполнения операций, банк начал поиск решения, которое могло бы автоматически восстанавливать загрузку хранилища данных и автоматически перезапускать процессы в случае сбоя. Решение должно было допускать возможность управления приоритетностью ETL-заданий и позволять ускорить загрузку хранилища данных.
Оценив возможности представленных на рынке платформ, специалисты Юникредит-банка остановили свой выбор на SAS Grid Manager, который отвечал всем без исключения предъявленным требованиям. SAS Grid Manager представляет собой систему распределенных вычислений, которая вместо работы на одном большом сервере запускает процессы одновременно на нескольких серверах и собирает их в единый кластер, обеспечивая высокую скорость и надежность исполнения операций.
Реализация проекта по модернизации хранилища проходила в несколько этапов. На первом, который занял около трех месяцев, осуществлялось проектирование системы. Затем началось развертывание платформы SAS Grid Manager, которое шло около двух месяцев. Далее последовала миграция ядра хранилища на новую платформу. Чтобы обеспечить скорость и непрерывность процессов загрузки данных, на следующей стадии процессы загрузки были оптимизированы с учетом новых возможностей SAS Grid. После комплексного тестирования на соответствие оптимизированной системы техническому заданию платформа была запущена в промышленную эксплуатацию.
К настоящему моменту SAS Grid Manager работает в промышленном режиме чуть менее года. По итогам эксплуатации решения банк отметил, что скорость обработки данных выросла на 36%. Время обработки заданий уменьшилось на 41%, а время ожидания заданий — на 68%. При этом коэффициент параллельности процессов увеличился с 3,58 до 5,17. Помимо достижения целевых показателей допустимого времени простоя и времени восстановления системы и данных, снизился объем расходов на закупку и поддержание оборудования. И главное — у банка появилась возможность практически неограниченного горизонтального масштабирования хранилища с использованием недорогой серверной инфраструктуры стандартной архитектуры.
«Юникредит-банк — это один из наших ключевых клиентов. В 2012–2014 годах в банке на платформе SAS были построены корпоративное хранилище данных и ряд бизнес-решений для управления рисками и маркетинговыми кампаниями. Переход на новейшую Grid-платформу свидетельствует о том, что банк остается одним из технологических лидеров на российском рынке и продолжает инновационное развитие, заботится о стабильности бизнес-процессов и сохранности информации. Это позитивно отражается не только на внутренних процессах банка, но и на качестве клиентского сервиса»,— говорит Юлий Гольдберг, директор по работе с финансовым сектором компании SAS Россия/СНГ.
«Внедрение SAS GRID позволило нам не только повысить производительность ETL, но и обеспечить высокий уровень отказоустойчивости корпоративного хранилища данных. А это, в свою очередь, позволяет нам обеспечить высокий уровень сервиса для всех наших клиентов. Успешное внедрение такого сложного и инновационного для банковской сферы решения стало возможным благодаря высокому уровню профессионализма коллег из компании SAS Россия и отличному, слаженному взаимодействию между ними и командой IT-специалистов банка»,— рассказал Михаил Дугаев, директор департамента информационных технологий Юникредит-банка.
Проект в Юникредит-банке — это первое внедрение SAS Grid Manager в России и первый перевод ИТ-инфраструктуры банка на высокопроизводительные параллельные вычисления.
Одним из важнейших требований к банковскому хранилищу данных является его отказоустойчивость, и в идеальном случае потеря информации при технических сбоях должна быть равна нулю. Таких показателей удалось достичь в ЮниКредит Банке благодаря внедрению решения SAS Grid Manager
Директор департамента информационных технологий
Новые цели — новый проект
В любом крупном банке рано или поздно встает вопрос о необходимости обработки больших объемом данных. Несколько лет назад острая потребность в оптимизации подобных процессов возникла в ЮниКредит Банке — крупнейшем российском банке с участием иностранного капитала. В связи с этим в 2011 году руководство Банка инициировало проект по внедрению корпоративного хранилища данных на базе технологий SAS, который был успешно реализован в 2013 году. На тот момент проект полностью отвечал целям, которые ставились в самом начале, но в связи с изменением IT-инфраструктуры Банка появилась необходимость перевода на это хранилище регуляторной отчетности.
Когда речь заходит о регуляторной отчетности, первоочередным требованием к хранилищу данных становится его отказоустойчивость, а той отказоустойчивости, которая была заложена в проект изначально (восстановление системы и восстановление данных в течение не более 24 часов), оказалось недостаточно. Требовались RTO (время восстановления в случае поломок) не более часа, а также нулевое RPO (потеря данных при падении). Чтобы достичь таких показателей, пришлось решать сразу несколько задач. Нужно было реализовать автоматическое восстановление загрузки данных в случае сбоя, автоматический перезапуск процессов и сервисов в случае сбоя, возможность управления приоритетностью задач на основании установленных бизнес-правил и многое другое: все это вытекало из очень жестких требований по предоставлению регуляторной отчетности.
Быстрее, устойчивее, эффективнее
К настоящему моменту SAS Grid Manager работает в промышленном режиме чуть менее года. В среднем скорость обработки данных выросла на 36%. Время обработки заданий уменьшилось на 41%, а время ожидания заданий — на 68%. Помимо достижения целевых показателей допустимого времени простоя и времени восстановления системы и данных снизился объем расходов на закупку и поддержание оборудования, а за счет использования технологии параллелизации была достигнута значительная экономия в плане простаивания системы. В результате оптимизация работы оборудования резко повысилась, а параллельность обработки процессов увеличилась почти на 50%: в единицу времени стало выполняться в полтора раза больше задач. И главное — у Банка появилась возможность практически неограниченного горизонтального масштабирования хранилища с использованием недорогой серверной инфраструктуры стандартной архитектуры.
Внедрение SAS GRID позволило Банку не только повысить производительность ETL-процессов, но и обеспечить высокий уровень отказоустойчивости корпоративного хранилища данных, а это, в свою очередь, дает возможность обеспечить высокий уровень сервиса для всех наших клиентов. Успешное внедрение такого сложного и инновационного для банковской сферы решения стало возможным благодаря высокому уровню профессионализма коллег из компании SAS Россия и отличному, слаженному взаимодействию между ними и командой IT-специалистов Банка.
SAS разрабатывался в Государственном университете Северной Каролины с 1966 по 1976 год, когда был включен институт SAS. SAS получила дальнейшее развитие в 1980-х и 1990-х годах с добавлением новых статистических процедур, дополнительных компонентов и введения JMP . Интерфейс "укажи и щелкни" был добавлен в версию 9 в 2004 году. Продукт для анализа социальных сетей был добавлен в 2010 году.
СОДЕРЖАНИЕ
Технический обзор и терминология
SAS - это программный пакет, который может добывать, изменять, управлять и извлекать данные из различных источников, а также выполнять их статистический анализ. SAS предоставляет графический пользовательский интерфейс «укажи и щелкни» для нетехнических пользователей и многое другое на языке SAS .
В программах SAS есть шаги DATA, которые извлекают и обрабатывают данные, и шаги PROC, которые анализируют данные. Каждый шаг состоит из серии утверждений.
Шаг DATA содержит исполняемые операторы, которые приводят к тому, что программное обеспечение выполняет действие, и декларативные операторы, которые предоставляют инструкции для чтения набора данных или изменения внешнего вида данных. Шаг DATA состоит из двух этапов: компиляции и выполнения. На этапе компиляции обрабатываются декларативные операторы и выявляются синтаксические ошибки. После этого на этапе выполнения последовательно обрабатывается каждый исполняемый оператор. Наборы данных организованы в таблицы со строками, называемыми «наблюдениями», и столбцами, называемыми «переменными». Кроме того, у каждой части данных есть дескриптор и значение.
Шаг PROC состоит из операторов PROC, которые вызывают именованные процедуры. Процедуры выполняют анализ и составление отчетов по наборам данных для создания статистики, анализа и графиков. Существует более 300 названных процедур, каждая из которых содержит значительный объем программной и статистической работы. Операторы PROC также могут отображать результаты, сортировать данные или выполнять другие операции.
Макросы SAS - это фрагменты кода или переменных, которые кодируются один раз и используются для выполнения повторяющихся задач.
Данные SAS можно публиковать в HTML, PDF, Excel, RTF и других форматах с помощью системы доставки вывода, которая была впервые представлена в 2007 году. SAS Enterprise Guide - это интерфейс SAS, основанный на принципах «укажи и щелкни». Он генерирует код для управления данными или автоматического выполнения анализа и не требует опыта программирования SAS.
Программный пакет SAS состоит из более чем 200 компонентов. Некоторые из компонентов SAS включают:
- Базовый SAS - Основные процедуры и управление данными
- SAS / STAT - Статистический анализ
- SAS / GRAPH - Графика и презентация
- SAS / OR - Операционные исследования
- SAS / ETS - Эконометрика и анализ временных рядов
- SAS / IML - язык интерактивных матриц
- SAS / AF - Средство приложений
- SAS / QC - Контроль качества
- SAS / INSIGHT - интеллектуальный анализ данных
- SAS / PH - Анализ клинических испытаний
- Enterprise Miner - интеллектуальный анализ данных
- Руководство для предприятий - редактор кода на основе графического интерфейса и менеджер проектов
- SAS EBI - набор приложений бизнес-аналитики
- SAS Grid Manager - менеджер вычислительной среды SAS grid.
История
Происхождение
Разработка SAS началась в 1966 году после того, как Университет штата Северная Каролина повторно нанял Энтони Барра для программирования своего программного обеспечения для анализа дисперсии и регрессии, чтобы оно могло работать на компьютерах IBM System / 360 . Проект финансировался Национальным институтом здоровья . и изначально предназначалась для анализа сельскохозяйственных данных с целью повышения урожайности сельскохозяйственных культур. К Барру присоединился студент Джеймс Гуднайт , который разработал статистические процедуры программного обеспечения, и они стали руководителями проекта. В 1968 году Барр и Гуднайт интегрировали новые процедуры множественной регрессии и дисперсионного анализа . В 1972 году, после выпуска первой версии SAS, проект лишился финансирования. По словам Goodnight, это произошло потому, что NIH хотел финансировать только проекты с медицинскими приложениями. Гуднайт продолжал преподавать в университете за зарплату в 1 доллар и доступ к мэйнфреймам для использования в проекте, пока в следующем году он не был профинансирован университетскими статистиками Южных экспериментальных станций . Джон Салл присоединился к проекту в 1973 году и внес свой вклад в эконометрику программного обеспечения, временные ряды и матричную алгебру. Еще одна ранняя участница, Кэролл Г. Перкинс, внесла свой вклад в раннее программирование SAS. Джолейн В. Сервис и Джейн Т. Хелвиг создали первую документацию SAS.
Первые версии SAS были названы в честь года их выпуска. В 1971 году SAS 71 был выпущен ограниченным выпуском. Он использовался только на мэйнфреймах IBM и имел основные элементы программирования SAS, такие как этап DATA и наиболее распространенные процедуры на этапе PROC. В следующем году была выпущена полная версия SAS 72, в которой был представлен оператор MERGE и добавлены функции для обработки недостающих данных или объединения наборов данных. В 1976 году Барр, Гуднайт, Салл и Хельвиг вывели проект из штата Северная Каролина и включили его в состав SAS Institute, Inc.
Разработка
SAS был переработан в SAS 76 с открытой архитектурой , допускающей компиляторы и процедуры. Операторы INPUT и INFILE были улучшены, чтобы они могли читать большинство форматов данных, используемых мэйнфреймами IBM. Также добавлено создание отчетов с помощью операторов PUT и FILE. Также была добавлена возможность анализа общих линейных моделей и процедура FORMAT, которая позволяла разработчикам настраивать внешний вид данных. В 1979 году в SAS 79 была добавлена поддержка операционной системы CMS и введена процедура DATASETS. Три года спустя SAS 82 представил ранний макроязык и процедуру APPEND.
SAS версии 4 имел ограниченные возможности, но сделал SAS более доступным. Версия 5 представила полный макроязык, индексы массивов и полноэкранный интерактивный пользовательский интерфейс под названием Display Manager. В 1985 году SAS был переписан на языке программирования Си . Это позволило реализовать архитектуру SAS Multivendor, которая позволяет программному обеспечению работать в UNIX , MS-DOS и Windows . Ранее он был написан на PL / I , Fortran и ассемблере .
В 1980-х и 1990-х годах SAS выпустила ряд компонентов в дополнение к Base SAS. SAS / GRAPH, который производит графику, был выпущен в 1980 году, как и компонент SAS / ETS, который поддерживает эконометрический анализ и анализ временных рядов. Компонент SAS / PH-Clinical, предназначенный для фармацевтических пользователей, был выпущен в 1990-х годах. В 2002 году Управление по санитарному надзору за качеством пищевых продуктов и медикаментов стандартизировало SAS / PH-Clinical для применения новых лекарственных средств. Также были представлены вертикальные продукты, такие как SAS Financial Management и SAS Human Capital Management (тогда они назывались CFO Vision и HR Vision соответственно). JMP был разработан соучредителем SAS Джоном Саллом и группой разработчиков, чтобы воспользоваться преимуществами графического пользовательского интерфейса, представленного в Apple Macintosh 1984 года и впервые выпущенного в 1989 году. Обновленные версии JMP выпускались непрерывно после 2002 г. последний выпуск - 2016 г.
SAS версии 6 использовался на протяжении 1990-х годов и был доступен в более широком диапазоне операционных систем, включая Macintosh , OS / 2 , Silicon Graphics и PRIMOS . SAS представила новые функции через точечные релизы. С 6.06 по 6.09 был представлен пользовательский интерфейс, основанный на парадигме Windows, и добавлена поддержка SQL. Версия 7 представила систему доставки вывода (ODS) и улучшенный текстовый редактор. В последующих выпусках ODS были улучшены. Например, в версии 8 было добавлено больше параметров вывода. Количество поддерживаемых операционных систем было уменьшено до UNIX , Windows и z / OS , а также добавлен Linux . SAS версии 8 и SAS Enterprise Miner были выпущены в 1999 году.
Недавняя история
В 2002 году была представлена программа Text Miner. Text Miner анализирует текстовые данные, такие как электронные письма, на предмет шаблонов в приложениях Business Intelligence. В 2004 году была выпущена версия SAS 9.0, получившая название «Project Mercury» и призванная сделать SAS доступным для более широкого круга бизнес-пользователей. Версия 9.0 добавила настраиваемые пользовательские интерфейсы на основе роли пользователя и установила пользовательский интерфейс «укажи и щелкни» SAS Enterprise Guide в качестве основного графического пользовательского интерфейса (GUI) программного обеспечения. Функции управления взаимоотношениями с клиентами (CRM) были улучшены в 2004 году с помощью SAS Interaction Management. В 2008 году SAS анонсировала Project Unity, предназначенный для интеграции качества данных, интеграции данных и управления основными данными.
SAS Institute Inc против World Programming Ltd - это судебный процесс с разработчиками конкурирующей реализации World Programming System , в которых утверждалось, что они частично нарушили авторские права SAS, реализовав ту же функциональность. Это дело было передано из Высокого суда Соединенного Королевства в Европейский суд 11 августа 2010 года. В мае 2012 года Европейский суд вынес решение в пользу World Programming, установив, что «функциональность компьютерной программы и язык программирования не может быть защищен авторским правом ".
Бесплатная версия была представлена для студентов в 2010 году. В том же году был выпущен SAS Social Media Analytics, инструмент для мониторинга социальных сетей, анализа вовлеченности и настроений . В том же году был представлен SAS Rapid Predictive Modeler (RPM), который создает базовые аналитические модели с помощью Microsoft Excel . В JMP 9 в 2010 году был добавлен новый интерфейс для использования языка программирования R из JMP и надстройка для Excel. В следующем году в рамках партнерства с Teradata и EMC Greenplum стало доступно высокопроизводительное вычислительное устройство . В 2011 году компания выпустила Enterprise Miner 7.1. С октября 2013 года по октябрь 2014 года компания представила 27 продуктов для управления данными и обновила еще 160 продуктов. На глобальном форуме SAS 2015 года компания анонсировала несколько новых продуктов, предназначенных для различных отраслей, а также новое программное обеспечение для обучения.
Дата выхода
С 1972 года у SAS было много выпусков. Начиная с выпуска 9.3, SAS / STAT имеет собственную нумерацию выпусков.
| Выпускать | Дата | Комментарий |
|---|---|---|
| 72 | Январь 1972 г. | |
| 76 | Июль 1976 г. | |
| 79,5 | Апрель 1981 г. | |
| 82,4 | Январь 1983 г. | |
| 4.06 | Март 1984 г. | |
| 5,03 | Июль 1986 г. | |
| 6.01 | Январь 1985 г. | ПК DOS |
| 6,03 | Март 1988 г. | |
| 6.06 | Март 1990 г. | |
| 6,07 | Апрель 1991 г. | |
| 6,08 | Март 1993 г. | |
| 6.09 | Октябрь 1993 г. | |
| 6.10 | Октябрь 1994 | |
| 6,11 | Октябрь 1995 г. | |
| 6,12 | Ноябрь 1996 | |
| 7.0 | Октябрь 1998 | |
| 8.0 | Ноябрь 1999 г. | |
| 8.1 | Июль 2000 г. | |
| 8,2 | Март 2001 г. | |
| 9.0 | Октябрь 2002 г. | |
| 9.1 | Декабрь 2003 г. | |
| 9.1.3 | Август 2004 г. | |
| 9.2 | Март 2008 г. | СТАТИСТИКА 9.2 |
| 9,2 м2 | Апрель 2010 г. | СТАТИСТИКА 9.22 |
| 9,3 | Июль 2011 г. | СТАТИСТИКА 9.3 |
| 9,3 м2 | Август 2012 г. | СТАТ 12.1 |
| 9,4 | Июль 2013 | СТАТУС 12.3 |
| 9,4M1 | Декабрь 2013 | СТАТ 13.1 |
| 9,4 м2 | Август 2014 г. | СТАТУС 13.2 |
| 9,4 м3 | Июль 2015 г. | STAT 14.1 |
| 9,4М4 | Ноябрь 2016 | СТАТИСТИКА 14.2 |
| 9,4М5 | Сентябрь 2017 г. | СТАТУС 14.3 |
| 9,4М6 | Ноябрь 2018 г. | STAT 15.1 |
| 9,4М7 | Август 2020 г. | СТАТ 15.2 |
Программные продукты
По состоянию на 2011 год самый большой набор продуктов SAS - это линия для сбора информации о клиентах . Многочисленные модули SAS для Интернета, социальных сетей и маркетинговой аналитики могут использоваться для профилирования клиентов и потенциальных клиентов, прогнозирования их поведения, управления и оптимизации коммуникаций. SAS также предоставляет SAS Fraud Framework. Основная функция платформы - отслеживать транзакции в различных приложениях, сетях и партнерах и использовать аналитику для выявления аномалий, указывающих на мошенничество. SAS Enterprise GRC (Governance, Risk and Compliance) обеспечивает моделирование рисков, анализ сценариев и другие функции для управления и визуализации рисков, соблюдения нормативных требований и корпоративных политик. Существует также набор продуктов SAS Enterprise Risk Management, предназначенный в первую очередь для банков и финансовых организаций.
Продукты SAS для мониторинга и управления операциями ИТ-систем вместе именуются SAS IT Management Solutions. SAS собирает данные о производительности и использовании различных ИТ-активов, а затем создает отчеты и анализирует их. Продукты SAS Performance Management объединяют и предоставляют графическое отображение ключевых показателей эффективности (KPI) на уровне сотрудников, отделов и организаций. Пакет продуктов SAS Supply Chain Intelligence предлагается для нужд цепочки поставок, таких как прогнозирование спроса на продукцию, управление распределением и запасами и оптимизация ценообразования. Существует также набор программного обеспечения «SAS for Sustainability Management» для прогнозирования экологических, социальных и экономических последствий и определения причинно-следственных связей между операциями и воздействием на окружающую среду или экосистему.
У SAS есть наборы продуктов для конкретных отраслей, таких как правительство, розничная торговля, телекоммуникации и аэрокосмическая промышленность, а также для оптимизации маркетинга или высокопроизводительных вычислений .
Бесплатное университетское издание
SAS также предлагает бесплатную университетскую версию, которую может загрузить любой желающий для некоммерческого использования. Первое объявление об этом бесплатном университетском издании, похоже, появилось в газетах 28 мая 2014 года.
Сравнение с другими продуктами
В статье 2005 года для Journal of Marriage and Family, в которой сравниваются статистические пакеты от SAS и его конкурентов Stata и SPSS , Алан К. Акок написал, что программы SAS обеспечивают «необычайный диапазон задач анализа данных и управления данными», но их трудно использовать и учиться. Между тем, SPSS и Stata были легче для изучения (с лучшей документацией), но обладали менее способными аналитическими возможностями, хотя их можно было расширить с помощью платных (в SPSS) или бесплатных (в Stata) надстроек. Акок пришел к выводу, что SAS лучше всего подходит для опытных пользователей , в то время как случайные пользователи больше всего выиграют от SPSS и Stata. Сравнение, проведенное Калифорнийским университетом в Лос-Анджелесе , дало аналогичные результаты.
Такие конкуренты, как Revolution Analytics и Alpine Data Labs, рекламируют свои продукты как значительно более дешевые, чем у SAS. В сравнении 2011 года Дуг Хеншен из InformationWeek обнаружил, что стартовые сборы для этих трех компаний одинаковы, хотя он признал, что стартовые сборы не обязательно были лучшей основой для сравнения. Бизнес-модель SAS не так сильно зависит от начальных сборов за свои программы, вместо этого она сосредоточена на доходах от ежегодной абонентской платы.
Принятие
По данным IDC, SAS является крупнейшим держателем доли рынка «продвинутой аналитики» с 35,4% рынка по состоянию на 2013 год. Она является пятым по величине держателем доли рынка программного обеспечения для бизнес-аналитики (BI) с долей 6,9% и крупнейший независимый поставщик. На рынке бизнес- аналитики он конкурирует с такими конгломератами, как SAP BusinessObjects , IBM Cognos , SPSS Modeler , Oracle Hyperion и Microsoft Power BI . Компания SAS была включена в Квадрант лидеров Gartner для инструментов интеграции данных, а также для бизнес-аналитики и аналитических платформ. Исследование, опубликованное в 2011 году в BMC Health Services Research, показало, что SAS использовался в 42,6% анализов данных в исследованиях в сфере здравоохранения на основе выборки из 1139 статей, взятых из трех журналов.
ЮниКредит Банк подвел итоги проекта по кластеризации и созданию высокопроизводительного корпоративного хранилища данных на базе SAS Grid Manager. Применение новых инструментов помогло повысить скорость обработки данных, увеличить количество одновременно выполняемых операций, сократить допустимое время простоя сервиса с суток до 1 часа, свести до нуля вероятность потери данных в случае системного сбоя, а также сократить издержки на закупку и поддержку аппаратной части хранилища.
Чтобы поддержать развитие бизнеса и минимизировать время подготовки обязательной отчетности, ИТ-специалистам банка нужно было обеспечить высокую отказоустойчивость хранилища данных, снизить технологические риски и расходы на техническое сопровождение. Два года назад допустимое время простоя сервисов хранилища данных до полного восстановления его работоспособности в случае глобального сбоя ( RTO ) составляло 24 часа, а глубина допустимой потери данных в случае такого сбоя ( RPO ) также составляла 24 часа. Новые бизнес-задачи потребовали снижения первого из этих показателей до 1 часа, а второго – до нуля. Иными словами, в случае сбоя никакие загруженные в хранилище данные вообще не должны были потеряться.
Чтобы оптимизировать ИТ-инфраструктуру, обеспечить надежную защиту от сбоев и высокую скорость исполнения операций, банк начал поиск решения, которое могло бы автоматически восстанавливать загрузку хранилища данных и автоматически перезапускать процессы в случае сбоя. Решение должно было допускать возможность управления приоритетностью ETL [1] -заданий и позволять ускорить загрузку хранилища данных.
Оценив возможности представленных на рынке платформ, специалисты ЮниКредит Банка остановили свой выбор на SAS Grid Manager, который отвечал всем без исключения предъявленным требованиям. SAS Grid Manager представляет собой систему распределенных вычислений, которая вместо работы на одном большом сервере запускает процессы одновременно на нескольких серверах и собирает их в единый кластер, обеспечивая высокую скорость и надежность исполнения операций.
Реализация проекта по модернизации хранилища проходила в несколько этапов. На первом, который занял около трех месяцев, осуществлялось проектирование системы. Затем началось развертывание платформы SAS Grid Manager , которое шло около двух месяцев. Далее последовала миграция ядра хранилища на новую платформу. Чтобы обеспечить скорость и непрерывность процессов загрузки данных, на следующей стадии процессы загрузки были оптимизированы с учетом новых возможностей SAS Grid . После комплексного тестирования на соответствие оптимизированной системы техническому заданию платформа была запущена в промышленную эксплуатацию.
К настоящему моменту SAS Grid Manager работает в промышленном режиме чуть менее года. По итогам эксплуатации решения банк отметил, что скорость обработки данных выросла на 36%. Время обработки заданий уменьшилось на 41%, а время ожидания заданий – на 68%. При этом коэффициент параллельности процессов увеличился с 3,58 до 5,17. Помимо достижения целевых показателей допустимого времени простоя и времени восстановления системы и данных, снизился объем расходов на закупку и поддержание оборудования. И главное у банка появилась возможность практически неограниченного горизонтального масштабирования хранилища с использованием недорогой серверной инфраструктуры стандартной архитектуры.
«ЮниКредит Банк – это один из наших ключевых клиентов. В 2012-2014 годах в банке на платформе SAS были построены корпоративное хранилище данных и ряд бизнес-решений для управления рисками и маркетинговыми кампаниями. Переход на новейшую Grid-платформу свидетельствует о том, что банк остается одним из технологических лидеров на российском рынке и продолжает инновационное развитие, заботится о стабильности бизнес-процессов и сохранности информации. Это позитивно отражается не только на внутренних процессах банка, но и на качестве клиентского сервиса», - говорит Юлий Гольдберг, директор по работе с финансовым сектором компании SAS Россия/СНГ.
«Внедрение SAS GRID позволило нам не только повысить производительность ETL , но и обеспечить высокий уровень отказоустойчивости корпоративного хранилища данных. А это, в свою очередь, позволяет нам обеспечить высокий уровень сервиса для всех наших клиентов. Успешное внедрение такого сложного и инновационного для банковской сферы решения стало возможным благодаря высокому уровню профессионализма коллег из компании SAS Россия и отличному, слаженному взаимодействию между ними и командой IT -специалистов банка», - рассказал Михаил Дугаев, директор департамента информационных технологий ЮниКредит Банка.
Проект в ЮниКредит Банке – это первое внедрение SAS Grid Manager в России и первый перевод ИТ-инфраструктуры банка на высокопроизводительные параллельные вычисления.
Справочная информация
О ЮниКредит Банке
ЮниКредит Банк — это коммерческий банк, работающий в России с 1989 года. ЮниКредит Банк является крупнейшим российским банком с иностранным участием, занимая 10-е место в рейтинге ИНТЕРФАКС-100 по объему активов по результатам первого полугодия 2015 года. 100% голосующих акций принадлежит UniCredit Bank Austria AG, Вена, Австрия, входящему в состав финансовой группы UniCredit. ЮниКредит Банк занимает сильные позиции на российском рынке корпоративных банковских услуг, одновременно входя в число ведущих банков на рынке финансовых услуг для частных клиентов. ЮниКредит Банк имеет Генеральную лицензию №1 Банка России.
UniCredit — один из ведущих европейских коммерческих банков с сильным присутствием в 17 государствах Европы. Сеть UniCredit охватывает рынки порядка 50 стран и состоит из свыше 7 100 отделений, где работает более 127 000 сотрудников (данные на 30 июня 2015 года).
В Центральной и Восточной Европе Группа располагает обширной международной банковской сетью, включающей почти 2 400 офисов (3 400 с учетом Турции).
UniCredit присутствует в следующих странах: Австрия, Азербайджан, Болгария, Босния и Герцеговина, Венгрия, Германия, Италия, Польша, Россия, Румыния, Сербия, Словакия, Словения, Турция, Украина, Хорватия и Чешская Республика.
[1] ETL (от англ. Extract, Transform, Load — дословно «извлечение, преобразование, загрузка») — один из основных процессов в управлении хранилищами данных, который включает в себя:
· извлечение данных из внешних источников;
· их трансформацию и очистку, чтобы они соответствовали потребностям бизнес-модели;
Читайте также: