Sas visual text analytics это

Обновлено: 07.07.2024

SAS Visual Analytics – это система аналитики для бизнеса, которая помогает глубже изучать данные, находить новые закономерности, создавать удобочитаемые графические представления для более детального понимания бизнеса.

Программный продукт SAS Visual Analytics (рус. САС Визуальная Аналитика) от компании SAS позволяют аккумулировать различные данные в едином источнике с последующей обработкой. Для упрощения решения задач бизнес-аналитики (BI) и управления массивами данных в САС Вижуал Аналитикс предоставляется графический интерфейс, позволяющий пользователям от аналитика и до управляющего сформировать собственное представление и определять неявные зависимости и отклонения.

Функции системы SAS Visual Analytics: Обнаружение данных благодаря интерактивному взаимодействию и визуализации (анимированные и сетевые диаграммы, тепловые карты, корреляционные матрицы, дерево решений и т. д. ). Использование предустановленных форм и графиков, создание собственных представлений; Бизнес-аналитика без привлечения IT-специалистов, позволяющая построить наиболее актуальное представление данных и выбрать оптимальный прогноз; Доступ к данным через мобильное приложение; Визуальный анализ географических данных на карте; Импорт и экспорт данных, а также возможность автоматического обновления и синхронизация.

Управление учётными записями с возможностью мониторинга активности пользователей

Анализ продуктовой корзины в розничной торговле с использованием BI-системы SAS Visual Analytics

Применение деревьев принятия решений в бизнес-аналитической системе SAS Visual Analytics

Исследование социальных факторов в аналитическом программном обеспечении SAS Visual Analytics

Визуализация данных на карте в программном продукте для бизнес-аналитики САС Вижуал Аналитикс

Решение SAS VA широко используется и государственными учреждениями, например, в Дании – для анализа закупок бюджетных организаций. Европейское законодательство достаточно жестко регламентирует правила расходования средств налогоплательщиков, поэтому организации должны тщательно контролировать собственные расходы. Несмотря на то, что данные ведутся в стандартной электронной форме, их обработка и анализ осуществлялись исключительно вручную. На базе серверов датского офиса SAS, выделенных под данную задачу, было создано комплексное решение для сбора, хранения, анализа и отчетности по закупкам. Одной из проблем, которая затрудняла использование данных по расходам, являлось неудовлетворительное качество самих данных, поэтому важным компонентом решения стал инструмент по очистке данных SAS Data Quality, который позволил получить полную и достоверную информацию. Теперь муниципалитетам и другим государственным учреждениям Дании «по подписке» (SaaS) может быть предоставлен доступ к данному решению. С его помощью они получают возможность быстро обрабатывать свои данные и представлять их в преднастроенных отчетах SAS VA, а также анализировать и строить собственные.

SAS представила весной 2012 года работающий в оперативной памяти пакет для бизнес-аналитики SAS Visual Analytics, пополнивший линейку продуктов SAS High-Performance Analytics. Его графический интерфейс с возможностью перетаскивания объектов мышкой открывает пользователям, не обладающим техническими познаниями, доступ к бизнес-аналитике.

Здесь не обязательно вводить запросы или скрипты строчку за строчкой, хотя при необходимости можно использовать и такой метод. Применяя SAS Visual Analytics, предприятия могут анализировать огромные объемы данных, с высокой скоростью исследовать их визуально и распространять свои выводы через Интернет или с помощью iPad. Приложение предназначено для работы на стандартных или блейд-серверах.

Visual Analytics использует собственные аналитические инструменты компании, обрабатывает данные в оперативной памяти, позволяет изучить их интуитивно понятным способом, поддерживает Hadoop и различные варианты предоставления информации. Это единственный движок для работы в оперативной памяти, предназначенный для визуализации `больших данных` в интересах бизнеса и использующий недорогое непатентованное оборудование.

Для повышения отказоустойчивости SAS LASR Analytic Server, ключевой компонент SAS Visual Analytics, использует Hadoop (встроенную распределённую файловую систему) для локального хранения на сервере. Приложение LASR протестировано на миллиардах строк данных и очень хорошо масштабируется, поскольку в нём нет ограничений по числу колонок, присущих многим реляционным СУБД.

Возможность самообслуживания, заложенная в SAS Visual Analytics, позволяет бизнес-пользователям обходиться собственными силами, не обращаясь к специалистам по работе с данными и другим представителям ИТ при составлении рутинных запросов. В результате ИТ-подразделения могут заниматься более сложными проектами.

SAS Visual Analytics включает такие приложения, как Hub для запуска различных элементов пакета; Mobile для просмотра отчетов, подключения к серверам и загрузки информации на ходу; Explorer для обнаружения и визуализации данных, их изучения и анализа; Designer для создания стандартных и адаптированных отчетов и приборных досок. Администраторы для управления пользователями, безопасностью и данными используют Environment Administration.

Серверные компоненты работают под управлением Red Hat или SUSE Linux. В магазине iTunes App Store имеется ПО мобильного клиента для iPad.

По официальной характеристике SAS, ее система SAS Visual Analytics является BI-решением с технологией in-memory и визуальным интерфейсом, который расширяет круг потенциальных пользователей мощных средств аналитики, открывая простые и экономичные возможности для проникновения в суть бизнес-ситуаций и принятия лучших решений. Пользователи ПО смогут визуально исследовать обширные объемы данных с помощью сильных инструментов SAS Analytics.

Благодаря технологии in-memory решение SAS очень быстро исследует любые информационные объемы — буквально за минуты или секунды производит аналитические вычисления с миллиардами строк данных и тут же отображает результаты. Управленцы компаний могут работать с SAS Visual Analytics в форме самообслуживания и через ПК или планшеты пользоваться мгновенным доступом к отчетам или мобильным информационным панелям на базе самых свежих данных, чтобы принимать более быстрые и правильные решения.

История возникновения

Для начала в сотый раз обратимся к рейтингу ресурса TIOBE, дабы отыскать в нём нашего сегодняшнего героя. SAS располагается на “предлидирующем” 21 месте, что, согласитесь, для data-языка великолепный результат. Так что давайте познакомимся с ним поближе.

Итак, Джеймс Гуднайт (James Goodnight) в 1976 году окончил Университет Северной Каролины, тут же приложил свою руку к созданию небольшой аналитической компании SAS Institute и вот уже 40 лет он ее CEO. SAS - аббревиатура от Statistical Analysis System, что полностью описывает основное направление деятельности компании.

Естественно, для того, чтобы эффективно обрабатывать большие потоки информации потребовался не только качественный программный продукт, но и соответствующий язык. И им стал SAS. Изначально это был довольно примитивный набор шаблонных запросов для группировки данных, но со временем SAS стал полноценным и достаточно популярным языком программирования.

В общем-то с этого момента можно было бы смело вести историю языка, программного обеспечения и всей компании, как единого целого, но в 2002 году объявился идеологический конкурент - World Programming System (WPS), который в своей деятельности не просто стал использовать язык SAS, но и разработал для него собственный компилятор и IDE.

Разумеется, вскоре началась судебная тяжба, которая в итоге создала интересный прецедент для всего IT-сообщества: WPS выиграл суд, доказав, что авторское право не нарушается, если используется синтаксис и функциональность языка, но не используются исходные коды. Таким образом, язык SAS отчасти избежал участи MATLAB, сорвав ярлык “вещи в себе”.

Кстати, сегодня SAS Institute - не просто преуспевающая компания с оборотом в несколько миллиардов долларов в год, но и одно из наиболее привлекательных мест для работы. Так, в 2013 году SAS заняла второе место в рейтинге “привлекательности” компаний США, пропустив вперёд лишь Google.

Краткая справка

Впрочем, оставим дела компании и обратимся непосредственно к языку. Чтобы вы визуально представляли его внешний вид, вот небольшой отрывок кода, содержащий вывод на экран таблицу данных:

PROC PRINT DATA = models NOOBS;
WHERE Type = "Mountain";
FORMAT Price DOLLAR6.;
TITLE "Current Models of Mountain Bicycles";
RUN;

Основным конкурентом SAS является язык R, причём стоит признать, что последний имеет солидное преимущество. Во-первых, он был создан позднее, соответственно избежал многих проблем роста. Во-вторых, и это наверное главный фактор, он бесплатный, в то время как SAS требует дорогое программное обеспечение. Впрочем, давайте взглянем на преимущества и недостатки SAS в сравнении с главным конкурентом.

Простой синтаксис, быстрое обучение “с нуля”;

Отладка кода проходит значительно проще, чем на R;

Интеграция с БД (Oracle/Teradata);

Удобный формат выходных данных (особенно таблиц);

Мощная поддержка со стороны компании SAS;

Многолетний успешный опыт эксплуатации компаниями разной величины, с разными задачами и разным объёмом входных данных. В частности, России SAS используют ОАО “РЖД”, МТС, ЦБ РФ, а также ведущие банки, среди которых Сбербанк, Альфабанк, Тинькофф и многие другие.

Профессиональное использование языка предполагает покупку программного продукта;

Исходники многих исполняемых алгоритмов SAS не являются публичными, следовательно изучение работы языка сильно ограничено;

SAS значительно уступает в производительности R;

С точки зрения объёма кода SAS также зачастую сильно проигрывает (иногда в несколько раз).

При этом надо понимать, что далеко не во всех сферах SAS и R являются прямыми конкурентами. Взгляните на следующее изображение:

Из него отчётливо видно, что в Data Science SAS сильно проигрывает не только R, но и Python. Но вот в анализе данных, предполагающем дальнейшие прогнозы, SAS занимает лидирующую позицию.

Программный продукт

Для того, чтобы оценить степень размаха в прикладных программах, с которым придётся столкнуться желающему освоить SAS в полном объёме, можно посетить официальный раздел с перечислением пакетов заглавной IDE. Впрочем, здесь прослеживается аналогия с уже упомянутым продуктом MATLAB/Simulink, где также имеется большое количество надстроек, но по сути подавляющее большинство из них имеет строгую специализацию. Так что изначально стоит сфокусироваться лишь на 4 следующих:

SAS Visual Analytics - инструмент для визуализации ваших данных;

SAS Enterprise Miner - инструмент для машинного обучения;

Enterprise / Text Miner - пакет надстроек, аналогичный SAS Visual Analytics, но с большим упором на упрощение любых внутренних взаимодействий;

SAS ETS Module - система прогнозирования.

Если вы вдруг сейчас подумали, что возможно стоит прикупить пару из них, то вот стоп-сигнал: SAS Enterprise Miner, к примеру, обходится крупным компаниям более чем в 100 тысяч долларов. Пакет Analytics будет значительно дешевле, около 8,5 тысяч, но разве от этого легче?

Обучение

Впрочем, это не означает, что постигнуть азы SAS невозможно. Компания активно продвигает свой продукт среди студентов, причём абсолютно бесплатно. Достаточно мощную пробную версию SAS University Edition можно скачать перейдя по ссылке.

Также на официальном сайте у вас есть возможность записаться на экспресс-курсы по изучению языка (причём на русском языке). Рекомендуемая длительность обучения в каждом разделе составляет 3 дня, требования и программу можно посмотреть прямо рядом с торжественной кнопкой записи.

В общем, было бы желание.

Работа

Откровенно говоря, получить работу конкретно SAS-специалисту в России будет очень сложно. Как правило, SAS идёт как жирный плюс. но не как основная специализация. Тем не менее, если вам удастся набраться практического опыта работы с SAS хотя бы в течение 2 лет, хотя бы базово освоить SQL, VB и прочие полезности, то вы сможете смело рассчитывать на зарплату не менее 80 тысяч рублей в месяц. Причём речь не только о столице, стоимость программного продукта SAS как бы подсказывает работодателю не экономить в поисках дешёвой рабочей силы. Но, как уже было сказано, нужную вакансию ещё придётся поискать.

Литература

Нет смысла перечислять лучшие иностранные книги по SAS, так как все они собраны в одном месте, прямо на официальном сайте компании. Особое внимание стоит уделить пошаговому самоучителю, описанию возможностей языка и IDE, а также справочнику новичка.

Что касается ресурсов на русском языке, то тут, разумеется, всё значительно сложнее, но кое-что всё же есть. Помимо официального сайта, лекции Дмитрия Звежинского помогут тем, кто пока не познал английский язык на хорошем уровне, на официальные курсы записывать не хочет, но SAS изучить отчаянно желает.

На этом краткое знакомство считаем оконченным. А вы сталкивались когда-нибудь с языком SAS? Какие впечатления?

Освоить востребованную профессию в Data Science можно всего за полтора года на курсах GeekBrains. После учёбы вы сможете работать по специальностям Data Scientist, Data Analyst, Machine Learning, Engineer Computer Vision-специалист или NLP-специалист.

Основные разработки компании нацелены на максимальное упрощение внедрения нейросетей в Enterprise.

Например, компания может внедрить “умную” обработку текста. SAS Visual Text Analytics предоставляет комплексное решение проблем идентификации и классификации текстовых данных. Это анализ “из коробки” для 32 языков.
Для агротеха у SAS Software есть оперативный мониторинг, бенчмаркинг по культуре, АХО и контроль урожайности, анализ истории поля и сценарный анализ для оптимизации севооборота и внесения удобрений.
С программными продуктами SAS легко рассчитать экономические показатели и выстроить стратегию развития для различных компаний.

SAS Software – это эффективное решение любой задачи, связанной с ИИ, в интерфейсе point-and-click.

Мы нашли интересными разработки компании и взяли интервью у Юлии Саниной, директора по персоналу и работе с университетами SAS Россия/СНГ. Юлия рассказала, как SAS работает со студентами.

- Юлия, как организовано сотрудничество компании SAS с вузами?

- Организация сотрудничества зависит от профиля вуза и от востребованности кадров, которые он готовит. Мы обращаем внимание на сильную базовую подготовку студентов в области анализа данных и статистики. Мы тесно сотрудничаем с флагманскими вузами: там идут наши спецкурсы. Кроме того, на ВМК МГУ, например, преподаватели используют наше программное обеспечение на обязательных курсах.

Студентам неинтересно учить теорию: им нужно видеть, как кейсы реально применяются в бизнесе, как то, чему их учат, будет востребовано в дальнейшем. Наша цель – взять лучших студентов к себе или нашим заказчикам на стажировку. Мы не обделяем вниманием и те университеты, профиль которых не совсем соответствует нашим требованиям. Главное, чтобы там был специалист, который готов читать курсы на SAS. Мы предоставляем материалы и обучаем его бесплатно. Это приводит к интересным результатам: МИРЭА, например, в ряде направлений дает нам неплохой отклик молодых специалистов, хотя это не наш профильный вуз. Мы стараемся привлекать университеты к нашим долгосрочным программам. Но исследовательские программы, которые сейчас активно разрабатываются в Великобритании, у нас пока не практикуются. Хотя мы, конечно, хотели бы к этому прийти.

- В вузах вы проводите только спецкурсы или есть действующие кафедры?

- Мы открыли кафедру в Высшей школе экономики. Это очень сложное, трудоемкое и ресурсоемкое дело. В академический процесс вовлечено около тридцати человек: они проводят лекции, семинары, проверяют домашнюю работу, отвечают за организационную часть. И все это делают наши сотрудники, которым не урезают рабочие задачи из-за преподавания в ВШЭ. Открытие кафедры – самое большое, на что может замахнуться компания. Это важный проект для SAS. Он показывает, что международная компания расценивает Россию как важный рынок.

- Как организовываются стажерские программы SAS?

- Ежегодно мы открываем наборы студентов. В прошлом году мы провели 8 наборов, в этом будет 10, так как стажеры нужны не только нам, но и нашим заказчикам. Мы анонсируем очередной набор в различных средствах информации, в топовых университетах, на нашем сайте. Также у нас заработал институт амбассадоров. Это студенты, которые работают у нас и несут бренд SAS в студенческие массы.

У нас уже все автоматизировано: сначала студенты проходят онлайн-тестирование, потом – собеседование. Тех, кто удачно прошел собеседование, приглашают на стажировку. Стажировка состоит из обучения, которое длится чуть больше месяца, получения сертификата и последующего трудоустройства. Обучение проходит раз в неделю, по его окончании студенты решают тест. Вовлеченность и, как следствие, успеваемость кандидатов очень высокая: 98% тех, кто попал к нам на стажировку, по итогам тестирования получают сертификат и отправляются на практику в нашу компанию или к нашим заказчикам.

- В каких университетских мероприятиях принимает участие ваша компания?

- В топовых вузах мы участвуем в «Днях карьеры», но релевантных откликов оттуда приходит немного, поэтому мы больше ориентируемся на проведение собственных мероприятий. Мы договариваемся с преподавателями, выступаем с интересными кейсами на их занятиях и устраиваем свой «День компании». Без этого нельзя. Если просто прийти с рекламой «Идите к нам, мы классная компания», это не сработает, сейчас многие компании говорят подобные вещи. Нужно показать, какие интересные, прорывные вещи в области анализа данных можно делать с SAS, показать свою уникальность. После таких мероприятий мы получаем наибольший отклик от нужных нам студентов. Это трудоемко, тут действительно должна помогать вся компания: нужна прежде всего поддержка со стороны бизнес-экспертов. Но нам удается их ангажировать, потому что именно им в первую очередь и нужны стажеры, и они понимают, что их личный вклад для этого необходим.

- Какие массовые онлайн-курсы у вас есть?

- У нас есть ряд таких программ, как, например, SAS University Edition. После регистрации студент может получить доступ этому программному обеспечению. Онлайн-обучение – это именно то, над чем SAS работает сейчас. Мы разрабатываем программу для студентов, некий аналог лекциям, которые они могут проходить самостоятельно. На данный момент этот проект является самым массовым.

- На сайте SAS есть бесплатные онлайн-курсы, и они все на английском языке. Есть ли вебинары, адаптированные для русских студентов?

- Нет, видеокурсов на русском языке у нас пока нет. Мы несколько раз поднимали этот вопрос в учебном центре и… откладывали. Почему? Для прохождения чисто технических курсов студентам хватает их уровня английского, а для изучения более продвинутых вещей необходимо обучение в классе. Пока у нас нет потребности в продвинутом видеообучении SAS. Но в перспективе все может быть.

- То есть вы пока не готовы вкладываться в работу на онлайн-платформах?

- На сегодняшний момент мы в онлайн-платформы вкладываться, наверное, не будем. Мы предпочитаем работать с университетами. Все-таки для студентов, с нашей точки зрения, важнее получать прикладные знания. Мы считаем, что сейчас именно работа с университетами и преподавателями поможет нам делать бизнес-кейсы и повышать качество образования студентов, увеличивать их желание изучать аналитику, статистику, углубленную математику. И для этого лучше работать по той стратегии, которой мы придерживаемся сейчас.

- Вы говорили, что сотрудничаете с филологическими факультетами. У SAS есть и гуманитарная направленность?

- Относительно гуманитарная. Это прикладная лингвистика. Важный кусок нашего бизнеса – это текстовая аналитика и анализ неструктурированной информации. И здесь, конечно, нужны специалисты по прикладной лингвистике.

- Целевая аудитория нашего издания – те, кто хочет прокачать навыки в сфере программирования. Основной возрастной сегмент – от 25 до 34 лет. Планируются ли какие-то мероприятия для этой возрастной категории?

- Чтобы работать с нашим программными продуктами, нацеленными на data scientists, разработчиков математических моделей, сотрудников дата-лабораторий, нужно обладать определенными теоретическими знаниями в статистике. Этому мы не учим, это преподают в определенных университетах, и список их невелик, к сожалению. С такими вузами мы работаем в рамках академической и стажерской программы. Соответственно, когда речь идет о студентах, т. е. это аудитория младше, чем та, о которой вы спрашиваете, их подготовка идет параллельно в части теории и в части практики. Для тех же, кто старше, больше подходят курсы и программы обучения, которые предлагает учебный центр SAS. На таких курсах можно обучаться уже не только базовым продуктам, но и нашим серьезным бизнес-решениям. Но как и любое другое послевузовское обучение, эти курсы являются платными. Безвозмездно мы сейчас работаем только с ВУЗами, хотя нам интересно подумать над новыми проектами, которые бы охватывали не только студенческую аудиторию, но и специалистов более старшего возраста, обладающих необходимой подготовкой. Тем более сейчас активно развиваются платформы дистанционного обучения, и e‑learning набирает популярность.

Читайте также: