Sas text miner что это

Обновлено: 04.07.2024

SAS Enterprise Miner – набор методов интеллектуального анализа данных, который позволяет извлечь из массива данных ценную практическую информацию для принятия решений в различных сферах.

SAS Enterprise Miner применятся для решения таких задач, как обнаружение случаев мошенничества, минимизация финансовых рисков, оценка и прогнозирование потребностей в ресурсах, повышение эффективности маркетинговых кампаний и снижение оттока клиентов.

Возможности SAS Enterprise Miner

Широкий набор инструментов для интеллектуального анализа данных

Гибкая система методов, приспособленная к решению задач различной сложности. Решение преобразует первичные данные в информацию для дальнейшего использования аналитиками, статистами, бизнес-менеджерам и ИТ-специалистами. Цельность процесса и используемых методов позволят различным специалистам объединять усилия и повышать эффективность применяемых решений.

SAS Enterprise Miner предоставляет аналитикам и data scientists (специалисты по интеллектуальному анализу данных) самодокументируемую проектную среду, которая ускоряет время разработки моделей и объединяет все этапы анализа данных, помогая получить наилучшие результаты.

Решение автоматизирует длительный процесс скоринга и генерирует код для всех стадий внедрения модели на языках программирования SAS, C, Java или PMML. Такой код может быть в дальнейшем использован множеством интерактивных и пакетных сред как внутри SAS, так и в веб-приложениях, в базах данных и напрямую в бизнес-процессах. Эта функция поможет значительно сэкономить ваше время и предотвратить ошибки, возможные при ручном внедрении.

Простое и быстрое извлечение полезной информации

С помощью инструмента SAS Rapid Predictive Modeler бизнес-пользователи, обладающие лишь начальными знаниями в моделировании, генерируют прогнозные модели для различных бизнес-целей. Аналитические результаты могут быть легко интерпретированы на основе простых и понятных графиков и таблиц, раскрывая необходимую для принятия решений информацию.

Метрики оценки качества моделей, построенные различными способами, могут быть выведены в сводной таблице, что значительно облегчает их сравнение. Итоговые диаграммы процесса моделирования могут использоваться в качестве самостоятельно шаблона, который удобно редактировать, обновлять и применять к новым бизнес-задачам, а описание модели содержит информацию о том, какой вклад внесла каждая независимая переменная в итоговый результат. Кроме того, точность модели основывается на базе современных алгоритмов, учитывающих отраслевую специфику методов, что гарантирует высокую степень стабильности и надежности результатов.

Преимущества SAS Enterprise Miner

Продвинутые методы прогнозного и описательного моделирования.
Удобный и понятный интерфейс, позволяющий пользователям самостоятельно создавать модели анализа и прогнозирования.
Автоматизированный процесс регламентного применения моделей.
Возможность пакетной обработки сложных процессов.
Быстрый сбор и подготовка данных, их агрегация и исследование.
Простота масштабирования и настройки решения.
Высокая производительность системы даже при работе с большим массивом разрозненных данных.

Другие решения SAS для продвинутой аналитики:

Text Mining , редко, анализ текста , анализ текста данных или Текстология интеллектуального анализа данных , представляет собой комплект из алгоритма -На метода анализа для обнаружения смысловых структур из непредставленных или слабо структурированных текстовых данных. С помощью статистических и лингвистических средств интеллектуальный анализ текста открывает программное обеспечение из структур текстов, чтобы дать пользователям возможность быстро идентифицировать ключевую информацию обрабатываемых текстов и управлять ею. В лучшем случае системы интеллектуального анализа текста предоставляют информацию, которую пользователь не знает заранее, содержится ли она в обрабатываемых текстах и что это такое. При целенаправленном использовании инструменты интеллектуального анализа текста также могут генерировать гипотезы , проверять их и шаг за шагом уточнять.

концепция

Интеллектуальный анализ текста, введенный в исследовательскую терминологию как « открытие знаний из текста» (KDT) Роненом Фельдманом и Идо Даганом в 1995 году, не является четко определенным термином. По аналогии с интеллектуальным анализом данных в « Обнаружении знаний в базах данных» ( KDD ), интеллектуальный анализ текста - это в значительной степени автоматизированный процесс обнаружения знаний в текстовых данных, который предназначен для обеспечения эффективного и действенного использования доступных текстовых архивов. В более широком смысле интеллектуальный анализ текста можно рассматривать как процесс компиляции и организации, формального структурирования и алгоритмического анализа больших коллекций документов для извлечения информации на основе потребностей и выявления скрытых взаимосвязей между текстами и фрагментами текста.

Типологии

Различные взгляды на интеллектуальный анализ текста можно классифицировать по разным типологиям. Типы поиска информации ( IR ), кластеризация документов , интеллектуальный анализ текстовых данных и KDD неоднократно упоминаются как подформы интеллектуального анализа текста.

В случае IR известно, что текстовые данные содержат определенные факты, которые можно найти с помощью подходящих поисковых запросов. С точки зрения интеллектуального анализа данных интеллектуальный анализ текста понимается как «интеллектуальный анализ данных на текстовых данных» для исследования данных (которые необходимо интерпретировать) из текстов. Самым обширным типом интеллектуального анализа текста является собственно KDT , при котором из текстов извлекается новая, ранее неизвестная информация.

Связанные процедуры

Интеллектуальный анализ текста связан с рядом других методов, от которых его можно отличить следующим образом.

Интеллектуальный анализ текста больше всего похож на интеллектуальный анализ данных. Он разделяет с этим многие процессы, но не тему: в то время как интеллектуальный анализ данных в основном применяется к сильно структурированным данным, интеллектуальный анализ текста имеет дело с гораздо менее структурированными текстовыми данными. Таким образом, при интеллектуальном анализе текста первичные данные структурируются более строго на первом этапе , чтобы их можно было разработать с использованием методов интеллектуального анализа данных. В отличие от большинства задач интеллектуального анализа данных, при интеллектуальном анализе текста обычно явно требуется несколько классификаций.

Кроме того, интеллектуальный анализ текста использует методы поиска информации , которые предназначены для поиска тех текстовых документов, которые должны быть релевантными для ответа на поисковый запрос. В отличие от интеллектуального анализа данных, возможно, неизвестные смысловые структуры в общем текстовом материале не раскрываются, но на основе известных ключевых слов идентифицируется ряд релевантных, ожидаемых отдельных документов.

Методы извлечения информации направлены на извлечение отдельных фактов из текстов. Извлечение информации часто использует те же или аналогичные процедурные шаги, что и при интеллектуальном анализе текста; Поэтому иногда извлечение информации рассматривается как ветвь интеллектуального анализа текста. В отличие от (многих других типов) интеллектуального анализа текста, здесь известны по крайней мере категории, для которых требуется информация - пользователь знает то, чего он не знает.

Процессы автоматического реферирования текстов, извлечения текста , производят конденсат текста или текстовую коллекцию; Однако, в отличие от интеллектуального анализа текста, он не выходит за рамки того, что явно доступно в текстах.

Интеллектуальный анализ аргументов можно рассматривать как продолжение интеллектуального анализа текста . Здесь цель состоит в том, чтобы извлечь структуры аргументации.

области применения

Веб-майнинг

Веб-интеллектуальный анализ , особенно веб-контент , является важной областью применения интеллектуального анализа текста. Попытки сделать интеллектуальный анализ текста методом контент-анализа в социальных науках все еще относительно новы , например, определение настроения для автоматического извлечения отношения к теме.

пример

Веб - сайт « Слова дня » , проект Лейпцигского университета, показывает, каких результатов можно достичь с помощью интеллектуального анализа текста. Он показывает, какие слова в настоящее время часто используются в Интернете. Актуальность термина определяется его текущей частотой по сравнению со средней частотой за более длительный период времени.

методология

Анализ текста выполняется в несколько стандартных шагов. Во-первых, выбирается подходящий материал данных . На втором этапе эти данные обрабатываются таким образом, чтобы затем их можно было проанализировать с помощью различных методов . В конце концов, презентация результатов - необычайно важная часть процесса. Все этапы процедуры поддерживаются программным обеспечением .

Материал данных

Интеллектуальный анализ текста применяется к (обычно очень большому) количеству текстовых документов, которые имеют определенное сходство с точки зрения размера, языка и тематики. На практике эти данные в основном поступают из обширных текстовых баз данных, таких как PubMed или LexisNexis . Анализируемые документы неструктурированы в том смысле, что они не имеют единой структуры данных, поэтому говорят о «свободном формате». Тем не менее, они обладают семантическими , синтаксическими , часто также типографскими и, реже, структурными особенностями, специфичными для разметки, которые используются в методах интеллектуального анализа текста; поэтому говорят о слабоструктурированных или частично структурированных текстовых данных. В большинстве случаев анализируемые документы исходят из определенной дискурсивной вселенной ( области ), которая может быть более четко разграничена (например, анализ генома ) или менее (например, социология ).

Подготовка данных

Фактический анализ текста требует компьютерной лингвистической обработки документов. Обычно это основано на следующих шагах, которые можно автоматизировать только частично.

Прежде всего, документы конвертируются в единый формат - в настоящее время в основном это XML .

Для текстового представления документы обычно основаны на символах , словах , терминах ( терминах ) и / или так называемых концепциях, которые токенизируются . В приведенных выше модулях увеличивается сила семантического значения, но в то же время сложность их операционализации , поэтому для токенизации часто используются гибридные методы.

В результате слова в большинстве языков должны быть лемматизированы , то есть приведены к их основной морфологической форме, например инфинитиву в глаголах . Это делается путем противодействия .

Словари

Цифровые словари нужны для решения некоторых задач . Словарь стоп удаляет эти слова из данных, подлежащих анализу , которые , как ожидается, имеют мало или вообще не предсказательной силы, как это часто бывает, например, статьи , такие как «» или «». Для распознавания стоп-слов часто создаются списки из наиболее часто встречающихся слов в текстовом корпусе; Помимо стоп-слов, они в основном содержат большинство выражений, специфичных для предметной области, для которых обычно также создаются словари. Важные проблемы полисемии - неоднозначности слов - и синонимии - синонимии разных слов - решаются с помощью словарей. (Часто зависящие от предметной области) тезаурусы , которые ослабляют проблему синонимов, все чаще создаются автоматически в больших корпусах.

В зависимости от типа анализа фразы и слова могут быть лингвистически классифицированы с использованием тегов части речи , но это часто не требуется для интеллектуального анализа текста.

Местоимения (он, она) должны быть отнесены к предшествующим или следующим существительным фразам (Goethe, die Polizisten), к которым они относятся ( анаферное решение ).
Необходимо распознавать собственные имена людей, мест, компаний, государств и т. Д., Потому что они играют иную роль в формировании значения текста, чем родовые существительные.
Неоднозначность слов и словосочетаний разрешается путем присвоения каждому слову и фразе ровно одного значения (определение значения слова, устранение неоднозначности).
Некоторые слова и предложения (части) могут быть отнесены к предметной области (извлечение терминов).

Чтобы лучше определить семантику анализируемых текстовых данных, обычно используются предметные знания.

Аналитический метод

На основе этих частично структурированных данных можно настроить фактические процессы интеллектуального анализа текста, которые в первую очередь основаны на обнаружении совпадений , в идеале - между концепциями . Эти процедуры предназначены для:

Сделайте информацию, которая подразумевается в текстах, явной,
Отображение взаимосвязей между информацией, представленной в разных текстах.

Основные операции большинства методов - это идентификация ( условных ) распределений , частых количеств и зависимостей . Машинное обучение играет важную роль в развитии таких процессов как в контролируемом, так и в неконтролируемом вариантах.

Кластерный процесс

Помимо традиционно наиболее распространенных методов кластерного анализа - средств и иерархических кластеров - в методах кластеризации также используются самоорганизующиеся карты. Кроме того, все больше и больше методов используют нечеткую логику . k

Кластерный анализ k-средних

Кластеры очень часто образуются в средствах интеллектуального анализа текста . Алгоритм, принадлежащий этим кластерам, направлен на минимизацию суммы евклидовых расстояний внутри и между всеми кластерами. Основная проблема здесь состоит в том, чтобы определить количество кластеров, которые необходимо найти, параметр, который аналитик должен определить с помощью своих предварительных знаний. Такие алгоритмы очень эффективны, но может случиться так, что найдутся только локальные оптимумы . k

Иерархический кластерный анализ

В столь же популярном иерархическом кластерном анализе документы группируются в соответствии с их сходством в иерархическом дереве кластеров ( см. Иллюстрацию ). Этот метод требует значительно больших вычислительных ресурсов, чем метод -средний кластер. Теоретически можно поступить таким образом, что количество документов можно разделить на последовательные шаги или сначала рассматривать каждый документ как отдельный кластер, а затем шаг за шагом агрегировать наиболее похожие кластеры. Однако на практике только последний подход обычно приводит к значимым результатам. Помимо проблем во время выполнения , еще одним недостатком является то, что для получения хороших результатов вам необходимы базовые знания структуры кластера. Как и в случае со всеми другими методами кластеризации, человек-аналитик должен в конечном итоге решить, отражают ли найденные кластеры структуры смысла. k

Самоорганизующиеся карты

Подход с самоорганизующейся картой , впервые разработанный Теуво Кохоненом в 1982 году, является еще одной широко распространенной концепцией кластеризации при интеллектуальном анализе текста. При этом создаются искусственные нейронные сети (обычно двухмерные) . У них есть входной уровень, на котором каждый текстовый документ, который должен быть классифицирован, представлен как многомерный вектор и которому нейрон назначается в качестве центра, и выходной уровень, на котором нейроны активируются в соответствии с порядком выбранной меры расстояния.

Нечеткая кластеризация

Алгоритмы кластеризации, основанные на нечеткой логике , также используются, поскольку многие - в частности, дейктические - языковые объекты могут быть адекватно декодированы только человеком-читателем, и это создает внутреннюю неопределенность в обработке компьютерных алгоритмов. Поскольку они учитывают этот факт, нечеткие кластеры обычно дают результаты выше среднего. Обычно используются нечеткие C-средние . Другие приложения этого типа полагаются на Koreferenzcluster - графики назад.

Векторный метод

Однако алгоритмы, основанные на LSA, требуют больших вычислительных ресурсов: обычный настольный компьютер 2004 года с трудом может проанализировать более нескольких сотен тысяч документов. Немного худшие, но менее требовательные к вычислениям результаты, чем у LSA, достигаются методы векторного пространства, основанные на ковариационном анализе.

Оценка взаимосвязей между документами с помощью таких сокращенных матриц позволяет определять документы, которые относятся к одному и тому же вопросу, хотя их формулировки различаются. Оценка отношений между терминами в этой матрице позволяет установить ассоциативные отношения между терминами, которые часто соответствуют семантическим отношениям и могут быть представлены в онтологии .

Представление результатов

Необычайно важная и сложная часть интеллектуального анализа текста - это представление результатов. Сюда входят инструменты для просмотра, а также для визуализации результатов. Результаты часто представлены на двумерных картах.

программное обеспечение

Существует ряд прикладных программ интеллектуального анализа текста; часто они специализируются в определенных областях знаний . С технической точки зрения , можно провести различие между майнерами чистого текста , расширениями существующего программного обеспечения - например, для интеллектуального анализа данных или анализа контента - и программами, которые сопровождают только частичные этапы или области интеллектуального анализа текста.

Новая версия пакета SAS Enterprise Miner 5.1 спроектирована с использованием архитектуры Java-клиент / SAS -сервер, которая позволяет отделить вычислительный сервер, выполняющий обработку данных, от пользовательского интерфейса. Это обеспечивает гибкость в выборе конфигурации эффективного решения - от однопользовательской системы до крупнейших решений корпоративного масштаба. Обработку данных можно выполнять на мощных серверах, а конечные пользователи могут перемещаться из офиса домой или в отдаленные филиалы, не теряя связи с аналитическими проектами и сервисами. Некоторые серверные задачи, интенсивно использующие ресурсы процессора, например сортировка и агрегация данных, отбор переменных и регрессионный анализ, сделаны многопоточными, что позволяет распределить их выполнение между несколькими процессорами.

Процессы в Enterprise Miner могут работать параллельно и в асинхронном режиме. Масштабные или повторяющиеся процессы обучения модели или скоринга могут быть выполнены в виде пакетного задания, назначенного на наименее загруженные часы работы аналитического сервера.

Набор инструментов для подготовки, агрегации и исследования данных

Пакет SAS Enterprise Miner предлагает различные инструменты для осуществления подготовки данных, которые дают возможность, например, сделать выборку или разбивку данных, осуществить вставку недостающих значений, провести кластеризацию, объединить источники данных, устранить лишние переменные, выполнить обработку на языке SAS посредством специализированного узла SAS code, осуществить преобразование переменных и фильтрацию недостоверных данных. Пакет оснащен функциями описательной статистики , а также расширенными средствами визуализации, которые позволяют исследовать сверхбольшие объемы данных, представленные в виде многомерных графиков, и производить графическое сравнение результатов моделирования.

Платформенно-независимый пользовательский интерфейс пакета SAS Enteprise Miner 5.1 создан на базе Java и предоставляет пользователям широкий набор средств статистической графики с гибкими возможностями настройки и управления. Для создания специальных графиков предусмотрен Java-мастер. Все графики и лежащие в их основе таблицы динамически связаны между собой и поддерживают интерактивные режимы работы.

Интегрированный комплекс разнообразных методов моделирования

Пакет SAS Enterprise Miner предоставляет набор инструментов и алгоритмов прогностического и описательного моделирования, включающий деревья решений, нейронные сети, самоорганизующиеся нейронные сети, методы рассуждения, основанные на механизмах поиска в памяти (memorybased reasoning), линейную и логистическую регрессии, кластеризацию, ассоциации, временные ряды и многое другое.

Интеграция различных моделей и алгоритмов в пакете Enterprise Miner позволяет производить последовательное сравнение моделей, созданных на основе различных методов, и оставаться при этом в рамках единого графического интерфейса. Встроенные средства оценки формируют единую среду для сравнения различных методов моделирования, как с точки зрения статистики, так и с точки зрения бизнеса, позволяя выявить наиболее подходящие методы для имеющихся данных. Результатом является качественный анализ данных, выполненный с учетом специфических проблем конкретного бизнеса.

Интегрированные средства сравнения моделей и пакеты результатов

Пакет SAS Enterprise Miner оснащен рядом встроенных функций контроля , работающих в рамках единой оболочки и обеспечивающих сравнение результатов различных методов моделирования как с точки зрения статистики, так и с точки зрения бизнеса.

Скоринг по модели и простота развертывания модели

Итогом работ по интеллектуальному анализу данных является развертывание созданной модели - это заключительная стадия, на которой реализуется экономическая отдача от проведенных исследований. Процесс применения модели к новым данным, известный как скоринг , часто требует ручного написания или преобразования программного кода. Пакет SAS Enterprise Miner автоматизирует процесс подбора коэффициентов и предоставляет готовый программный код для скоринга на всех стадиях создания модели, поддерживает создание различных программных сред для развертывания модели на языках SAS , C, Java и PMML . Этот программный код может использоваться в различных средах (в пакетном режиме или в реальном времени) в системе SAS , в Web или непосредственно в реляционных базах данных. Пакет создает код для аналитических моделей и для предварительной обработки данных.

Когда оценочный код создан, можно проводить скоринг наборов данных как непосредственно в Enterprise Miner, так и экспортировать скоринг -код и выполнить скоринг на другой машине, а также отторгнуть формулу для скоринга для применения в пакетном режиме или в режиме реального времени в Web или непосредственно в реляционных базах данных.

Гибкость благодаря открытости и расширяемости

Пакет Enterprise Miner предоставляет настраиваемую и расширяемую среду интеллектуального анализа данных , позволяющую добавлять инструментальные средства и интегрировать персонифицированный код на языке SAS . Стандартную инструментальную библиотеку, входящую в состав пакета SAS Enterprise Miner 5.1, легко расширить при помощи средств настройки, использующих язык SAS и XML-логику. Кроме того, есть возможность использования экспериментального интерфейса Java API, позволяющего встраивать процессы пакета Enterprise Miner в различные пользовательские приложения. Эта возможность может оказаться особенно плодотворной для компаний, стремящихся создать собственное аналитическое приложение, которое будет сочетать в себе, например, возможности создания OLAP-отчетов и выполнения интеллектуального анализа данных в рамках единого интерфейса.

Встроенная стратегия обнаружения данных

Интеллектуальный анализ данных становится особенно эффективным, если он является составной частью интегрированной стратегии предоставления информации. Пакет Enterprise Miner органично интегрируется с другими предложениями SAS , например, пакетом SAS ETL Studio, средствами аналитической обработки OLAP, прогностическим и другими аналитическими модулями, а также с приложением SAS Text Miner. Подход SAS к созданию информационно-аналитических систем кратко будет изложен в конце лекции.

Text mining software for faster, deeper insight from unstructured data.

Our text mining software lets you easily analyze text data from the web, comment fields, books and other text sources. So, why limit yourself to analyzing legacy data? Deepen your understanding by discovering new information, topics and term relationships. And add what you learn to your models to improve lift and performance.

Benefits

Improve model performance.

Predictive models use situational knowledge to describe future scenarios. Yet important circumstances and events described in comment fields, notes, reports, inquiries, web commentaries, etc., aren’t captured in structured fields that can be analyzed easily. With our text mining software, you can add insights from text-based sources to your models for more predictive power.

Add subject-matter expertise.

Guide machine-learning results by using interactive GUIs to easily identify relevance, modify algorithms, document assignments and group materials into meaningful aggregates. Extend text mining beyond basic start-and-stop lists by using custom entities and term trend discovery to refine automatically generated rules and topics.

Automatically know more.

Automate time-consuming manual activities, such as theme extraction or key term relationships, using machine learning and natural language processing techniques. High-performance procedures let you run evaluations in minutes or seconds – even for large collections – so you can quickly discover essential elements that improve model lift.

Determine what's hot and what's not.

Text is structured into numeric representations that summarize document collections and become inputs to predictive and data mining modeling techniques. Using the same visual environment as SAS Enterprise Miner, you can easily examine key topics, identify highly related phrases and observe how terms change over time – so you'll know what to include for better results.

Читайте также: