Sas как подключиться к базе
Обновлено: 07.07.2024
Супер простое подключение SAS к SQL Server подробное руководство
Осознание связи между SAS и базой данных SQL Server дает много преимуществ, и это действительно здорово.Мне потребовалось много времени, чтобы поиграть в этот простой метод.
Преимущества подключения SAS и SQL Server
1. Вы можете напрямую обращаться к данным в базе данных SQL Server в SAS и выполнять соответствующий анализ данных;
2. Набор данных SAS может быть записан в базу данных SQL Server через SAS;
3. Это онлайн-соединение, и это двустороннее соединение. Есть изменения с одной стороны и соответствующие изменения с другой. Данные, обработанные в SAS, можно увидеть в базе данных SQL Server.
Способ подключения SAS и SQL Server:
2. Подключение OLEDB;
Большинство соединений, которые я видел раньше в Интернете, были SAS для MySQL. Принцип тот же, но для Xiaobai, у которого слабая основа программирования, все еще очень кружится голова. Это специально используется для SAS для подключения к серверу SQL.
Шаги подключения к SAS и SQL Server:
** 1. ODBC-соединение **
(2) Реализация кода SAS:
Описание: ключевое слово libname создает библиотеку логики, demes - это имя созданной библиотеки логики, sql server 2017 - это имя службы источника данных OBDC, созданной вами ранее, uid - это имя входа для проверки входа в SQL Server ID, а pwd - пароль для входа.
2. подключение OLEDB
(1) Реализация кода SAS:libname mylib OLEDB;
Описание: ключевое слово libname создает библиотеку логики, а mylib - имя созданной библиотеки логики.
(2) Появится диалоговое окно, выберите непосредственно Поставщик Microsoft OLE DB для SQL Server,
(3) Введите имя сервера «DESKTOP-LUS1331»;
Для входа в систему выберите «Параметры интегрированной безопасности Windows NT»; (вы также можете выбрать «указать имя пользователя и пароль» для входа в систему. Для простоты выберите здесь настройки безопасности окна)
Выберите соответствующую базу данных: вы можете выбрать базу данных, к которой хотите подключиться в системе SQL Server.
После успешного подключения
(1) Вы можете увидеть библиотеку логики mylib или библиотеку логики демов в библиотеке логики. Эта библиотека логики является базой данных CHNS подключенного сервера sql, поэтому соответствующая статистика по таблицам данных в базе данных CHNS может быть реализована в SAS. Операция анализа.
(2) Вы также можете использовать функцию копирования для записи набора данных в SAS в базу данных SQL-сервера. Самый простой способ - щелкнуть правой кнопкой мыши, чтобы скопировать и вставить, скопировать набор данных SAS в библиотеку логики mylib или библиотеку логики демов, затем открыть сервер sql, и вы увидите скопированную новую таблицу данных.
Привет! Я Анна Добрыченко, преподаватель учебного центра SAS в России: провожу тренинги по программированию на SAS Base, использованию SAS Enterprise Guide и SAS Visual Analytics, участвую в подготовке стажеров. Вся техническая документация и статьи продуктов и решений SAS изложены на английском языке, а локализованного материала в Рунете недостаточно.
Поэтому в нашем блоге на Хабрахабре я расскажу об основах программирования на SAS Base в цикле статей.
Язык SAS Base представляет собой основу большинства этих продуктов и решений SAS, именно ему и будут посвящены статьи. В них я познакомлю с терминологией, типами данных, с которыми работает SAS Base, со структурой кода, написанного на SAS Base, и покажу основные приемы, которые используются при написании программ SAS.
Вводная
Есть несколько вариантов изучить основы программирования на SAS Base.
- Прочитать документацию: все решения SAS хорошо задокументированы, чтобы пользоваться ими было легко даже новичку. Все справочники находятся на сайте поддержки. Из плюсов стоит отметить, что найти можно все, что интересует бесплатно, из минусов – долго, и вся информация на английском языке.
- Посмотреть бесплатный онлайн-курс в формате e-Learning. Плюсы – все подробно разъясняется с примерами и выполнением практических упражнений, минусы – долго (длительность 24 часа), курс на английском языке. Также можно посмотреть видео SAS на Youtube.
- Купить книгу, например, Little SAS Book. Книга знакомит начинающих пользователей с языком SAS Base, содержит практические примеры и упражнения. Но опять же, вся литература, выпускаемая SAS, на английском языке и имеет относительно высокую стоимость. Все книги представлены на официальном сайте SAS в разделе «Обучение», также можно воспользоваться ресурсом Amazon. Но если вы студент и участвуете, например, в нашей стажерской программе, то вам могло повезти и вы получили книгу в подарок, что не может не радовать.
- Прочитать наш курс статей, освящающий основы программирования на SAS Base. Эти статьи адресованы новым пользователям SAS, работающим в различных сферах бизнеса, по большому счету для всех, кто собирается проводить анализ данных с помощью решений SAS или писать свои программы на SAS Base.
Добываем инструменты
Научиться программировать на SAS Base можно на бесплатном интерфейсе под названием SAS University Edition или сокращенно SAS UE.
При запуске программы или задачи SAS Studio подключается к серверу SAS для обработки кода. Сервер SAS может быть размещен в облачной среде, локальной среде или же на локальном компьютере. После обработки кода результаты возвращаются в SAS Studio в вашем браузере.
SAS Studio поддерживает несколько веб-браузеров: Microsoft Internet Explorer, Apple Safari, Mozilla Firefox, and Google Chrome.
Разбираемся в интерфейсе
Немного о том, как выглядит интерфейс SAS UE.
Слева находится панель навигации, справа – рабочая область. Три основные вкладки рабочей области – «Код», «Журнал», «Результаты».
Справка по синтаксису появляется, как только вы уменьшаете список релевантных ключевых слов. Справка по синтаксису также появляется, если щелкнуть правой кнопкой мыши на ключевое слово в программе и выбрать Syntax Help (Справка по синтаксису).
Можно перейти на страницу документации по той или иной процедуре, кликнув на ссылку «Документация по продукту».
На вкладке «Выходные данные» вы можете увидеть созданные таблицы.
На вкладке «Результаты» вы можете просматривать вывод процедур, создающих отчеты.
Если какая-то часть программы используется часто, ее можно добавить во «Фрагменты кода».
Вы можете открыть справку (SAS Help) и документацию прямо из главной панели инструментов. SAS Studio Help (Справка SAS Studio) для перехода на страницу документации по SAS Studio. Эта веб-страница содержит справку по интерфейсу SAS Studio.
Если вы только начали изучать продукты SAS, то наверняка незнакомы с некоторыми особенностями терминологии, используемой в продуктах компании.
Sas7bdat и данные
Начнем с того, что SAS Base работает только с особым форматом данных, который называется SAS Data Set (набор данных SAS). Но помимо всего прочего SAS является очень гибким инструментом и может считывать практически любые данные, преобразовывая в SAS Data Set. Набор данных SAS представляет собой обычную плоскую таблицу, состоящую из строк и столбцов. Набор данных SAS хранится как файл с расширением .sas7bdat.
С точки зрения традиционной терминологии SAS наборы данных состоят из переменных (variables) и наблюдений (observations). Проведя аналогию с терминологией реляционных баз данных, переменные являются столбцами, а наблюдения – строками.
Рассмотрим на примере описанное выше.
Представленная программа создает таблицу people (сам синтаксис мы рассмотрим позже):
Исходные данные могут иметь различный вид, SAS упростил эту задачу. В SAS существует всего два типа данных числовой (numeric) и символьный (character). В наборе данных people переменные First_Name, Last_Name, Phone_Number имеют символьный тип, а переменная Id – числовой. Стоит отметить, что даты в SAS — это тоже числа.
Данная программа создает набор данных time, содержащий текущие дату, время и дату и время (datetime) в формате SAS:
Возможный вид набора данных представлен ниже:
Все три значения – это даты в формате SAS. Итак, дата в формате SAS – это количество дней, начиная с 01 января 1960 до текущей даты, время в формате SAS – это количество секунд, начиная с полуночи текущей даты, дата и время – это количество секунд, начиная с полуночи 1960 года. Именно в таком виде хранятся даты в формате SAS в наборах данных.
Иногда данные могут быть неполными, как в наборе данных people: в нем отсутствуют некоторые значения. В SAS существует понятие missing – пропущенное значение. По факту, пропущенное значение – это тип значения для переменной, которая не содержит данных для конкретной строки или столбца. По умолчанию SAS записывает недостающее числовое значение в виде точки и отсутствующее значение текстовой переменной в качестве пробела. При сравнении «миссинг» всегда равен «миссингу», при этом в операторах сравнения «миссинг» — самое минимальное значение.
Кроме фактических значений, набор данных SAS имеет такие данные, как тип переменной, длину, имя, ярлыки, форматы, называемые атрибутами набора данных.
Переменные и атрибуты
У переменных в SAS есть ряд атрибутов, давайте познакомимся с некоторыми из них.
Длина переменной — это количество байт, приходящихся на один символ.
Данный код демонстрирует вышеизложенное:
Имена переменных, как и наборов данных, задаются самостоятельно. Есть ряд правил именования переменных SAS:
- Имена не должны превышать 32 символов.
- Имена должны начинаться только с буквы или символа нижнего подчеркивания.
- Имена могут содержать только буквы, цифры или символы нижнего подчеркивания.
- В именах переменных нельзя использовать специальные символы, в том числе и пробел.
- Имена могут содержать как прописные, так и строчные буквы, так как SAS не чувствителен к регистру при именовании сущностей (переменные, наборы данных, библиотеки и так далее). Обращаться в коде к переменной вы можете в любом регистре. Но! Важно то, что SAS запоминает первое появление названия переменной в программе и при формировании отчета использует именно его.
В последующих статьях мы подробнее познакомимся с атрибутом формат.
Ярлык переменной используется в отчетах вместо имен переменных. Ярлык может содержать до 256 символов, включая специальные символы, в том числе и знак пробела. В последующих статьях мы рассмотрим, виды ярлыков и как они используются в программном коде, а также приемы, когда в имени переменной может быть использован, например, пробел.
Структура программы SAS Base
Ознакомимся со структурой программы на языке SAS Base.
Все программы SAS состоят всего из двух шагов: шаг PROC и шаг DATA. Шаг DATA предназначен для чтения, преобразования и создания наборов данных SAS, а процедурный шаг PROC в основном – для анализа данных, формирования и печати отчетов. Шаги состоят из операторов. Индикатор окончания шага – это ключевое слово RUN (или, например, QUIT для ряда процедур), также сигналом к завершению шага может быть наличие операторов STOP и ABORT. Шаги могут размещаться в произвольном порядке, компилятор считывает последовательно шаг за шагом. Стоит отметить, что и сами шаги считываются построчно и никак иначе. Разные части программы обмениваются друг с другом данными в виде наборов данных SAS.
Синтаксис SAS Base очень прост, так же как и написание кода.
Пример простейшей программы SAS представлен ниже:
Важным требованием синтаксиса является наличие точки с запятой в конце каждого оператора. Данная программа SAS считывает набор данных ads из библиотеки sasuser (с понятием «библиотека» мы познакомимся в следующей статье), создает новый набор данных new. На следующем шаге мы создаем отчет из нового набора данных.
Стоит отметить, что у SAS Base нет требований к форматированию кода. Вы можете написать код в одну строку и код будет работать. Чтобы отформатировать код в SAS U, нажмите на кнопку «формат кода»:
Хороший тон для программиста – это пояснения к исходному тексту программы. Комментарии не влияют на семантику программы.
В SAS Base есть два вида комментариев:
Как отмечалось ранее, Log необходимо детально изучать. Давайте рассмотрим несколько самых распространенных синтаксических ошибок:
В данном случае шаг отработает с предупреждением. В Log мы увидим следующую информацию:
В данном случае run на втором шаге программы будет расценен как параметр оператора proc print.
Ошибка будет выглядеть следующим образом:
- Непарные кавычки. В SAS Base можно использовать одинарные и двойные кавычки, которые должны быть парными.
Итак, это кратко об интерфейсе SAS UE, терминологии SAS Base и основных требованиях к синтаксису SAS Base. В следующей статье мы рассмотрим библиотеки SAS и их создание, создание детализированных отчетов, рассмотрим форматирование значений и задание постоянных атрибутов переменным.
Уверена, что работа с SAS окажется интересной и увлекательной. Grow with SAS!
В предыдущей статье мы познакомились с интерфейсом SAS UE, терминологией SAS Base, типами данных, основными требованиях к синтаксису SAS Base, а также рассмотрели распространенные синтаксические ошибки.
Сегодня я расскажу, как можно получить доступ к данным различных форматов. Обратите внимание, что в данной статье имеются ссылки на документацию, которая поможет вам подробнее ознакомиться с рассматриваемыми примерами.
Что такое библиотеки SAS?
Библиотека в SAS – это метод централизованного хранения и прозрачного использования данных в программах SAS. Библиотека может быть папкой или каталогом на вашем компьютере или располагаться на внешнем жестком диске, FLASH-накопителе или компакт-диске и так далее.
Существует два типа библиотек: постоянные и временные. Постоянные библиотеки SAS сохраняются до тех пор, пока вы их не удалите. Постоянная библиотека доступна для обработки в последующих сеансах SAS. Временная библиотека SAS существует только для текущего сеанса SAS.
Файлы SAS, созданные во время сеанса, хранятся в специальном рабочем пространстве, которое может быть или не быть внешним носителем. Это рабочее пространство обычно назначается по умолчанию с именем Work. Файлы во временной рабочей библиотеке могут использоваться на любом шаге в программе SAS, но они не доступны для последующих сессий SAS. Файлы, хранящиеся в рабочей библиотеке, удаляются в конце сеанса SAS.
Назначаем пользовательскую библиотеку.
Рассмотрим простой случай назначения библиотеки: наборы данных SAS находятся в одной директории c:\habrahabr. Есть два способа решения этой задачи.
1 способ:
Настроить библиотеку без программного кода. Во вкладке «Библиотеки» в SAS UE выбрать «Новая библиотека»:
Далее появится окно для настройки пользовательской библиотеки:
Имя библиотеки – library reference (или libref). Libref – это «псевдоним» (ссылка) для «хранилища», в котором находятся файлы. Название библиотеке задается в соответствии с правилами именования переменных в SAS (см. Урок 1), но на него выделяется не более 8 символов.
Правила именования библиотек, переменных, наборов данных и пр. в SAS можно изучить в справочнике SAS 9.4 and SAS Viya 3.3 Programming Documentation SAS Language Reference: Concepts в разделе Names in the SAS Language.
Обратите внимание, что библиотека назначена на все время сеанса SAS, но переопределять ее параметры можно.
Далее задаем путь к наборам данных SAS.
После назначения библиотеки она появляется в левой панели SAS UE.
2 способ:
Назначить библиотеку программным путем. Назначение библиотеки SAS реализуется с помощью глобального оператора LIBNAME. Информацию по указанному оператору можно изучить в справочнике SAS 9.4 and SAS Viya 3.3 Programming Documentation / Global Statements.
Рассмотрим общий синтаксис глобального оператора LIBNAME.
libref – имя библиотеки.
engine — имя «движка», например, для наборов данных SAS – это BASE (но его можно не указывать, он задан по умолчанию). Если вы хотите создать новую библиотеку с другим «движком», отличным от механизма по умолчанию, вы можете отменить автоматический выбор.
Справочники, которые могут вам пригодиться при изучении механизмов подключения: SAS/ACCESS for Relational Databases и SAS Engines.
«Движки» SAS/ACCESS являются механизмами оператора LIBNAME, которые обеспечивают доступ к чтению, записи и обновлению более чем 60 реляционных и нереляционных баз данных, файлов ПК, устройств хранения данных и распределенных файловых систем.
'SAS-library' – путь к библиотеке, если путь задается с помощью макропеременной (будет рассматриваться в данном цикле статей), используются парные двойные кавычки. Во всех остальных случаях можно использовать парные одинарные кавычки.
options — допустимые опции. Простейшим примером является опция ACCSESS=READONLY, которая назначает атрибут «только для чтения» для всей библиотеки SAS. Со всем перечнем допустимых опций можно ознакомиться в справочнике SAS 9.4 and SAS Viya 3.3 Programming Documentation /Global Statements.
engine/host-options — являются одним или несколькими параметрами, которые перечислены в общей форме keyword = value.
Рассмотрим синтаксис оператора LIBNAME на практике. Назначим библиотеку Habr только для чтения:
Запустим код и проверим Log:
Просматриваем содержимое библиотеки SAS.
Один из вариантов просмотра содержимого библиотеки – использование процедуры PROC CONTENTS. Ознакомиться с процедурами, используемыми в SAS, можно в справочнике SAS 9.4 Procedures by Name and Product.
Процедура PROC CONTENTS позволяет создавать вывод, который описывает либо содержимое библиотеки SAS, либо информацию дескриптора для отдельного набора данных SAS. Чтобы просмотреть содержимое библиотеки SAS, мы можем использовать следующую общую форму процедуры:
Параметр NODS (который означает «no details») подавляет печать подробной информации о каждом файле при указании опции _ALL_.
Для конкретной библиотеки код будет выглядеть следующим образом:
Фрагмент вывода процедуры:
Обратите внимание, что в библиотеке также хранятся другие типы файлов, например catalog, index. О них можно прочитать в справочнике SAS 9.4 Companion for Windows, Fifth Edition.
Файлы с member type DATA являются стандартными наборами данных SAS. Второй вариант просмотра содержимого библиотеки – использовать процедуру PROC DATASETS:
Просмотр информации о конкретном наборе данных SAS реализуется следующим образом:
Обратите внимание на обращение к таблице в пользовательской библиотеке. Имя после data= двухуровневое: имя_библиотеки.имя_таблицы. В случае набора данных, хранящемся во временной библиотеке WORK, в обращении после data= можно использовать одноуровневое имя.
Например, в случае кода:
выведется информация о наборе данных charities, находящемся во временной библиотеке WORK.
Рассмотрим вывод процедуры для набора данных charities в пользовательской библиотеке HABR:
Служебная информация о таблице, получаемая в результате вывода, называется дескриптором.
Дескриптор содежит общую информацию о наборе данных: его название и имя библиотеки, типе, «движке», дате и времени создания и последнего изменения, количестве наблюдений и переменных, общей длине наблюдений, индексах, сортировке, сжатии, размере страницы и их количестве, информацию об атрибутах переменных.
Читаем электронные таблицы.
Чтение файла EXCEL можно реализовать несколькими способами. В этой статье мы рассмотрим назначение библиотеки для файла excel.
Для назначения библиотеки SAS будем использовать электронную таблицу products.xlsx, хранящуюся в директории c:\workshop\habrahabr\products.xlsx. Данный документ выглядит следующим образом: он содержит 4 листа, каждый из которых станет отдельным набором данных SAS. Фрагмент данного документа представлен ниже:
Общий синтаксис назначения библиотеки такой же, как и в случае наборов данных SAS, меняется только механизм подключения:
Существует несколько механизмов для обработки файла excel, у всех свои особенности и настройки, с которыми можно ознакомиться в документации.
Результат выполнения оператора libname представлены ниже. Фрагмент Log:
Информацию о библиотеке посмотрим через процедуру PROC CONTENTS:
В зависимости от механизма дескриптор заполняется по-разному:
Результат выполнения оператора LIBNAME представлены ниже. Фрагмент Log:
Информацию о библиотеке посмотрим через PROC CONTENTS:
В зависимости от механизма дескриптор заполняется по-разному:
Результат выполнения оператора libname представлены ниже.
Информацию о библиотеке посмотрим через PROC CONTENTS:
В зависимости от механизма дескриптор заполняется по-разному:
Создаем детализированные отчеты.
После получения доступа к требуемым данным рассмотрим процедуру для создания отчетов PROC PRINT. Подробную информацию о ней можно получить в справочнике SAS 9.4 Procedures by Name and Product. Распечатаем детализированный отчет, используя таблицу German из системной библиотеки sasuser.
Для начала изучим дескриптор указанной таблицы, нас интересуют атрибуты столбцов:
Фрагмент вывода процедуры:
Создадим детализированный отчет, удовлетворяющий представленным ниже требованиям:
-
Не включайте переменные Change и Retain в отчет:
Оператор VAR определяет переменные для печати. Оператор выводит их в том порядке, в котором вы их перечислили.
В данном условии нам необходимо использовать фильтр в операторе WHERE.
Обратите внимание, что при работе с текстовыми переменными важен регистр, а также вы обязательно заключаете требуемое значение в парные кавычки (двойные или одинарные).
Вывод данной программы SAS:
По умолчанию процедура PROC PRINT выводит номера строк, для того, чтобы убрать данный столбец, можно использовать опцию NOOBS (‘no observation’). В этом случае программный код выглядит следующим образом:
Операторы сравнения вы можете записывать привычными символами, а можете использовать мнемоники, как представлено в примере. Вывод данной программы представлен ниже:
Идентификатором наблюдения можно определить любую переменную. Когда вы указываете одну или несколько переменных в операторе ID, он использует форматированные значения этих переменных для идентификации строк. Обратите внимание, что если одновременно переменная указана в операторе VAR и в операторе ID, то она выведется два раза. Также при использовании оператора ID нет необходимости в опции NOOBS.
В нашем случае программа SAS будет иметь следующий вид:
Результаты выполнения кода представлены ниже:
Стоит отметить, что при задании атрибутов таких как ярлык и формат, они будут использованы только на определенном шаге PROC для создания требуемого отчета.
Для задания ярлыка используется оператор LABEL.
Общий синтаксис оператора LABEL выглядит следующим образом:
В ярлыке вы можете использовать любые символы, в том числе и пробелы, количество символов не должно превышать 256. Ярлыки переменных будут использованы для создания отчетов.
Не все процедуры «видят» ярлыки. Для того, чтобы процедура PROC PRINT выводила в отчет ярлыки, а не имена переменных, в опциях необходимо указать label (или split=). Опция SPLIT указывает разделитель, который контролирует разрывы в заголовках столбцов. Используем оператор LABEL в нашем программном коде:
1 вариант
2 вариант
(с использованием опции split=)
В опции split= указывается разделитель (обязательно в кавычках). Код в данном случае выглядит следующим образом (обратите внимание на использование разделителей в операторе Label):
Оператор TITLE задает заголовок в отчете, оператор FOOTNOTE задает нижний колонтитул.
Как и в случае оператора LIBNAME, данные операторы являются глобальными и действуют во время всего сеанса SAS до тех пор, пока вы не переопределите их значения. Вы можете использовать TITLE и FOOTNOTE как вне шагов PROC, так и непосредственно в них.
Общий синтаксис операторов:
Text-string – данный аргумент является строкой, которая может содержать до 512 символов. Вам необходимо заключать такие строки в одиночные или двойные кавычки. Текст отображается точно так же, как вы вводите его в операторе, включая прописные, строчные буквы и пробелы.
Также для настройки заголовков и нижних колонтитулов можно использовать стили:
Итак, возвращаясь к разрабатываемому отчету:
Результат выполнения программы:
Формат – это правило вывода значений переменных в отчет. Необходимо понимать, что формат не меняет значения в наборе данных SAS. Типы форматов соответствуют типу данных, но разбиты на категории: числовые, символьные, даты, время, дата-время.
Всю информацию о форматах можно найти в справочнике SAS 9.4 Formats and Informats: Reference. Также поддерживается возможность создания пользовательских форматов, об этом мы поговорим в следующих статьях.
Общий синтаксис оператора FORMAT.
variable – одна или несколько переменных, к которым небходимо применить формат.
DEFAULT=default-format – определяет временный формат по умолчанию для отображения значений переменных, которые не указаны в операторе FORMAT, используется в шаге DATA.
format – определяет формат, который используется для отображения переменных.
Общий синтаксис использованиея формата в операторе FORMAT следующий:
$ — признак текстового формата
Format – название формата
w — ширина формата, количество всех выводимых символов в значении
d — количество десятичных знаков
Формат всегда оканчивается на точку или на количество десятичных знаков. Стоит отметить, что при неверном выборе ширины формата значения в выводе могут «обрезаться». Давайте рассмотрим пример:
| Значение переменной | Формат | Результат |
|---|---|---|
| 34566.78 | DOLLAR10.2 | $34,566.78 |
| 34566.78 | DOLLAR9.2 | $34566.78 |
| 34566.78 | DOLLAR8.2 | 34566.78 |
| 34566.78 | DOLLAR7.2 | 34566.8 |
| 34566.78 | DOLLAR6.2 | 34567 |
| 34566.78 | DOLLAR4.2 | 35E3 |
При этом значение в наборе данных SAS остается неизменным:
Результат выполнения шага:
Отчет выглядит следующим образом:
Для группировки переменных используется оператор BY. Группировка переменных по определенным значениям подразумевает сортировку таблицы. Это связано с обработкой данных SAS Base.
Отсортировать набор данных можно с помощью процедуры PROC SORT.
При сортировке набора данных вам необходимо указать источник (исходный набор данных), группирующую переменную или переменные, а также при необходимости выходной (промежуточный) набор данных.
Давайте проверим вышеизложенное. Если посмотреть на отчет, выводимый в п.7 данной статьи, столбец Gender отсортирован по полу по убыванию. Так ли это?
Результат выполнения процедуры представлен ниже:
Таким образом, мы получили требуемый детализированный отчет на основании набора German в библиотеке Sasuser.
Подключение схем баз данных к библиотекам в метаданных SAS — очень важный этап в настройке функциональной и удобной среды для бизнес-пользователей. Эта задача может быть довольно сложной для неподготовленного администратора. В этой статье рассматриваются ключевые параметры, которые часто остаются незамеченными, но могут иметь большое значение. Использование неправильных параметров может привести к снижению производительности базы данных или даже к полной блокировке базы данных, в зависимости от количества подключений.
Введение
Когда я начал управлять своей первой средой SAS с помощью SAS management console, я быстро понял, что подключение внешних баз данных может быть сложной задачей. Настройка сервера довольно проста, но настройка библиотек — совершенно другое дело. Мастер создания библиотеки не сложен, но на вкладке с расширенными параметрами отображаются несколько параметров, которые изменяются от одной СУБД к другой. Игнорирование этих параметров и использование параметров по умолчанию приведет к проблемам с производительностью.
В течение многих лет я старался найти лучший способ подключения внешних баз данных, особенно в том, что касается определения библиотеки. Через некоторое время я понял, что лучше создать набор рекомендаций, а затем улучшить его совместно с другими экспертами.
То, что вы найдете в этой статье — результат многолетней работы с подключениями к внешним базам данных. Это мой скромный вклад в создание рекомендаций для подключения СУБД в SAS management console. Мы не будем рассматривать настройку параметров для серверной части в SAS management console, так как она не представляет сложностей. Начнем с того, что, когда это возможно, следует использовать собственные коннекторы, а не коннекторы ODBC. Использование собственных коннекторов, как правило, позволяет SAS выполнять больший набор действий с СУБД.
Эта статья поможет понять, как SAS обрабатывает запросы к внешним базам данных, и оптимизировать свой код.
Настройка базы данных
После того как соединение с сервером определено в разделе server manager section в SAS management console, можно указать базовое определение библиотеки. Чтобы запустить мастер определения библиотеки, щелкните правой кнопкой мыши на "Libraries" в разделе "Data Library Manager".
Рисунок 1. Запуск мастера создания новой библиотеки
Настройка первой библиотеки не представляет сложностей за исключением выбора сервера, который может получить доступ к вашей библиотеке. Сервер необходимо выбрать сразу после указания типа библиотеки (Base, Oracle . ). В стандартной конфигурации или конфигурации по умолчанию можно выбрать один из двух следующих серверов:
Если вы новичок в администрировании SAS и во всем мире метаданных SAS, скорее всего, вы не знаете, в чем состоит разница между этими двумя серверами. Если это так, выберите SASApp. Этот сервер подходит для обычного использования большинством пользователей (SAS/Enterprise Guide, SAS/Enterprise Miner . ).
Открытие ящика пандоры
При настройке новой библиотеки в мастере указан набор основных параметров, которые представляют основу для работы библиотеки. В большинстве случаев основных параметров достаточно для работы библиотеки. Однако для обеспечения надлежащей производительности и функциональности библиотеки решающее значение имеет настройка расширенных параметров.
Чтобы получить доступ к дополнительным параметрам, откройте свойства новой библиотеки. Доступ к этим свойствам также можно получить во время начальной настройки библиотеки. Изменять свойства рекомендуется поэтапно. Также следует отметить, что при настройке дополнительных параметров во время начальной настройки возможны проблемы в более ранних версиях SAS management console.
Предварительно назначенные (PRE-ASSIGNED) библиотеки
Первый из дополнительных параметров определяет, является ли библиотека предварительно назначенной. Если библиотека не была предварительно назначена, пользователь должен настроить соединение перед использованием библиотеки. В этой статье мы сосредоточимся исключительно на предварительно назначенных библиотеках.
Второй пункт настройки — выбор типа "Предварительное назначение" (Pre-Assignment). Очень важно понимать различие между возможными значениями и понимать поведение SAS в каждом случае.
- С помощью собственных механизмов библиотеки (By native library engines)
Этот вариант выбран по умолчанию. Для библиотек СУБД этот параметр позволяет обеспечивать безопасность на стороне базы данных. Для соединений с внешними базами данных следует выбирать именно этот параметр.
- С помощью механизма библиотеки метаданных (By metadata library engine)
Этот вариант используется для управления доступом на уровне метаданных. Для базовых библиотек SAS следует использовать этот вариант, но когда дело доходит до внешних библиотек, необходимо соблюдать осторожность. Управление безопасностью в таких соединениях рекомендуется выполнять на источнике (в реальной базе данных).
- С помощью внешней конфигурации (By external configuration)
Этот вариант следует учитывать, если вы хотите вынести конфигурацию библиотек из метаданных (например: файл autoexec). Пример использования — среда с несколькими серверами, связанными с помощью SAS/Connect.
На первый взгляд, может показаться, что metadata library engine не имеет очевидных недостатков. Однако, важно понимать как SAS работает с этими соединениями. Для этого типа взаимодействия информация о безопасности представлена в метаданных. Кроме того, в некоторых случаях SAS может обрабатывать запросы самостоятельно, а не передавать их в базу данных. В этих случаях нельзя использовать индексы DBMS, которые обычно используются для объединения данных. Это приводит к увеличению объема данных, отправляемых по сети, увеличению количества ресурсов, требуемых для работы SAS, и к увеличению времени, требуемого для обработки запроса СУБД и процессов SAS.
Рисунок 3. Представление передачи запроса СУБД
Обратите внимание, что при использовании metadata library engine обработка запросов может происходить по-разному (рис.3). В SQL Pass through обработка запроса передается на сторону СУБД, а в SAS driven join SQL они обрабатываются на стороне SAS
Чтобы гарантировать правильное поведение при подключении SAS к СУБД, необходимо выполнить тестирование. Очень удобный параметр для тестирования — “OPTIONS SASTRACE='. d' SASTRACELOC=SASLOG NOSTSUFFIX;”. При указании этого параметра в журнал SAS будут записаны подробные сведения об обработке запроса. Ниже приведен пример выходных данных при использовании этого параметра:
На вкладке "Соединение" содержатся параметры, с помощью которых вы сможете задать количество активных подключений к вашей внешней базе данных. С параметрами по умолчанию SAS будет устанавливать по одному соединению с внешней базой данных для каждой библиотеки. В некоторых случаях соединения так же возникают при обработке sql запросов. Количество этих соединений быстро растет. Количество сессий важно ограничить, так как большинство администраторов баз данных ограничивают количество одновременных подключений. По достижении этого ограничения создать новые соединения будет невозможно. Поскольку некоторые пользователи запускают сеансы только для взаимодействия с таблицами SAS, для этих пользователей устанавливать подключения не нужно.
Один из эффективных способов контроля количества сессий — использование параметра "отсрочки". При использовании этого параметра библиотеки подключаются только при использовании в первый раз. Таким образом, если библиотека не используется во время сессии SAS, для нее не будет выполнено подключение к базе данных.
Подключения утилит — это специальные дополнительные подключения, которые используются некоторыми СУБД, такими как DB2 и Netezza. Каждая такая библиотека может создавать собственные служебные подключения. После открытия эти подключения не освобождаются, пока не будет закрыт сеанс SAS. К счастью, с помощью расширенных параметров можно закрывать эти сеансы, когда подключение больше не требуется.
Тип подключения по умолчанию — SHAREREAD. Этот параметр можно использовать, чтобы ограничить количество активных подключений к СУБД. С ним используется одно и то же единственное подключение для всех операций чтения базы данных. Этот результат также можно получить с помощью групп подключений. Параметр "Имя группы подключений" позволяет администратору сгруппировать разные библиотеки вместе. Для этого необходимо указать одно и то же имя группы в этом поле. Этот параметр не требуется использовать в библиотеках с метаданными, однако с помощью такой группы легко идентифицировать библиотеки, подключающиеся к общей базе данных.
Обратите внимание, что для записи и изменения данных для задачи будет создано отдельное подключение.
При необходимости записи во внешнюю базу данных рекомендуется вручную настроить библиотеку с соответствующими параметрами. Оптимизация позволяет выполнять пользовательские настройки производительности, что невозможно при использовании статической общей библиотеки. Эта вкладка особенно полезна.
Если вы планируете изменить эти параметры, обязательно обратитесь к администратору базы данных. Изменение некоторых параметров может иметь опасные последствия, поэтому перед изменением убедитесь в том, что вы знаете, что делаете.
Сводим все вместе
Мы рассказали о различных параметрах, которые подходят для того, чтобы ограничить количество активных подключений к внешним базам данных. Для конфигурации с одной библиотекой эти приемы будут эффективными. Однако, когда дело доходит до подключения нескольких схем из одной удаленной СУБД к библиотекам, возникают различные проблемы. Необходимо гарантировать, что запросы будут отправляться в СУБД даже при использовании разных библиотек.
Чтобы обеспечить стабильность, все библиотеки, подключенные к базе данных, должны иметь одинаковые параметры и должны быть подключены к одному серверу базы данных. Небольшое различие между библиотеками (например, если вы забыли указать чтение незафиксированных данных) может заставить SAS обрабатывать объединение самостоятельно вместо того, чтобы передать его на обработку СУБД.
Чтобы гарантировать, что определения библиотек будут одинаковыми для заданной базы данных, разработайте рекомендации по определению библиотек и придерживайтесь их. Каждая база данных должна иметь свой собственный набор параметров. Документацию по настройке также можно найти в руководствах.
Другой способ — открыть инструкции для этих библиотек в SAS/Enterprise Guide и сравнить их. Инструкции доступны в свойствах библиотеки (контекстное меню). Как вы можете видеть в приведенном ниже примере, в разделе "Параметры" показаны подробные параметры подключения.
Рисунок 7. Окно свойств библиотеки в SAS / Enterprise Guide.
Заключение
Подключение внешних баз данных — нетривиальная задача. Если делать это без надлежащей осторожности, это может привести к серьезному изменению производительности. С глубоким знанием параметров библиотеки первый логичный шаг — выбор рекомендаций. Как и с базовым программированием для SAS, важно не вдаваться в детали низкого уровня, так как точки зрения различных экспертов могут быть различными. Необходимо определить рекомендации высокого уровня и переходить к деталям только тогда, когда это необходимо.
Первое, с чего нужно начать — постоянство. Используйте один и тот же рецепт при создании библиотек. Для удобства используйте один и тот же префикс для библиотек, которые указывают на схемы из одной базы данных. Так конечные пользователи смогут понять, с чем они работают. Используйте собственные механизмы библиотек для предварительно назначенных библиотек и делайте это для всех библиотек, подключенных к одной и той же СУБД. Убедитесь, что это постоянство относится к индивидуальным параметрам библиотек, подключенных к одной и той же внешней базе данных.
Во-вторых, настройте все возможные параметры (например, параметр отсрочки), чтобы ограничить количество подключений и общее время активности.
Информационные витрины данных часто используются совместно с другим программным обеспечением для бизнес-аналитики или для создания отчетов. Влияние на других пользователей SAS из-за блокировки (вследствие ограничения количества подключений к базе данных) уже является проблемой. Ситуация может ухудшиться, если затрагиваются пользователи, которые даже не используют SAS.
Наконец, используйте конкретные параметры для вашей СУБД. При необходимости уделите некоторое время тому, чтобы изучить и изменить эти параметры. Это поможет снизить влияние на используемые вами базы данных.
Читайте также: