Мастер система 1с это

Обновлено: 04.07.2024

С помощью «1С:Предприятие 8. MDM Управление НСИ» осуществляется подготовка справочников и классификаторов, первичная обработка контента, ведение нормативно-справочной информации, поддержка централизованных справочников в актуальном состоянии, а также синхронизация записей объектов нормативно-справочной информации в информационных системах предприятия.

Функциональность MDM-системы определяется входящими в ее состав подсистемами; все подсистемы связаны между собой и взаимодействуют друг с другом:

В зависимости от структуры компании, в программном продукте «1С:Предприятие 8. MDM Управление НСИ» могут быть организованы функциональные рабочие места пользователя, эксперта службы НСИ, старшего эксперта службы НСИ, методолога НСИ.

Управление содержимым справочников

Модуль управления содержимым справочников обеспечивает поддержку процессов нормализации данных и поддержания объектов НСИ в актуальном состоянии. С помощью данного модуля осуществляется поддержка механизмов связывания сопутствующих объектов, проверка целостности и непротиворечивости НСИ. Также модуль предоставляет доступ к функциям загрузки/выгрузки массивов данных.

В модуле реализованы следующие функции:

Просмотр и поиск содержимого справочников

Модуль поиска реализует часть основного функционала автоматизированного рабочего места (АРМ) Пользователя ЕС НСИ и АРМ Эксперта/Методолога НСИ. В подсистеме поддерживаются стандартные и специализированные процедуры поиска. Часть этих функций являются функциями платформы «1С:Предприятие 8», но основные функции поиска данных НСИ является оригинальной разработкой.

В модуле реализованы следующие функциональные возможности:

  • Поиск по текстовым атрибутам всех основных справочников:
    • На точное совпадение без учета регистра;
    • На точное совпадение подстроки без учета регистра;
    • По условию «равно»;
    • По условию «не равно»;
    • По условию «не меньше»;
    • По условию «не больше»;

    Управление заявками на добавление/ изменение объектов НСИ

    Модуль предназначен для обеспечения процессов ведения (поддержания в актуальном состоянии) объектов НСИ. С помощью данной подсистемы реализуется поддержка процедур бизнес-процесса добавления, проверки, изменения и публикации (создания справочнике) объектов НСИ. Данные функции модуля используются в АРМ Пользователя при инициации процесса добавления или изменения информации в ЕС НСИ. В АРМ Эксперта/ Методолога модуль используется для оповещения о новых заявках, распределения заявок по исполнителям, обработки и контроля обработанной информации, запуска процедур публикации изменений.

    В модуле управления заявками реализованы следующие функции:

    • Создание заявок на добавление, изменение или удаление записей в справочниках.
    • Отправка заявок в службу НСИ.
    • Поддержка статусов обработки объектов НСИ на каждом шаге:
      • Временный элемент;
      • Создана заявка;
      • Обработка начата;
      • Обработана

      Управление синхронизацией данных

      Модуль интеграции (синхронизации) данных обеспечивает выполнение следующих функций:

      • Создание сценариев синхронизации данных для любого справочника и каждой целевой системы – потребителя предприятия.
      • Синхронизация данных в соответствии с разработанными сценариями.
      • Ведение протокола синхронизации.
      • Автоматический/ ручной запуск репликации после изменений данных в ЕС НСИ.
      • Запуск репликации по расписанию.

      Возможности интеграции ЕС НСИ и систем — потребителей НСИ

      Первичная загрузка контента

      Первичная загрузка – это стартовая процедура при начале эксплуатации (подготовке к эксплуатации) ЕС НСИ. Возможны несколько сценариев первичной загрузки:

      • Загрузка эталонного контента и таблиц переходных ключей. Подразумевается, что в данном варианте в контенте содержаться только эталонные записи и отсутствуют дубли.
      • Загрузка нормализованного контента и таблиц переходных ключей. При данном сценарии в контенте могут присутствовать группы связанных дублей и эталонные записи. Каждому дублю соответствует единственный эталон.
      • Загрузка необработанного контента с идентификаторами систем потребителей и записей. На основе идентификаторов создается таблица переходных ключей.

      Миграция данных

      Миграция данных - это формализованный и детерминированный процесс переноса данных из ЕС НСИ в соответствующие справочники, словари и классификаторы систем – потребителей НСИ. Миграция данных осуществляется в соответствии с мэппингом полей и справочников, с учетом связок дублей и эталонов и критериев переносимости значений отдельных атрибутов дублей. Критерии переносимости значений атрибутов – это (в контексте ЕС НСИ) флаги, сигнализирующие о том, что значение данного атрибута связанной записи в исходном справочнике системы – потребителя должно быть сохранено.

      При настройке миграции данных учитывается несколько параметров:

      • Таблица мэппинга справочников. Таблица определяет, какой справочник ЕС НСИ является источником информации для каких справочников, в каких информационных системах. При этом учитывается, что несколько справочников ЕС НСИ могут быть источниками для одного справочника конкретной ИС. И, наоборот, один справочник ЕС НСИ – источник для нескольких справочников ИС. Поэтому, для таких справочников указываются условия разделения информации.
      • Таблица переходных ключей. Посредством этой таблицы настраивается мэппинг конкретных записей ЕС НСИ в системы- потребители НСИ.
      • Таблица подстановки значений. Данная таблица регулирует замену ссылочных значений атрибутов справочников ЕС НСИ на значения атрибутов связанных объектов. Данная замена (подстановка значений) необходима, если в системах-потребителях не ведутся соответствующие связанные объекты (подчиненные и вспомогательные справочники).

      Функции подсистемы интеграции

      Помимо объединения, централизации объектов НСИ, упорядочивания процессов ведения и использования НСИ, конфигурация обеспечивает интеграцию с системами-потребителями на уровне объектов НСИ (мастер-данных). Реализация интеграционных функций конфигурации подразумевает настройку механизмов обмена данными с типовыми и нетиповыми конфигурациями для платформы «1С: Предприятие 8». Помимо прикладных решений фирмы 1С, конфигурация позволяет настроить и использовать обмен данными с различными автоматизированными системами. Это позволяет осуществлять интеграцию данных в мультиплатформенных информационных средах. Контроль доставки данных в системы- потребители осуществляется посредством возврата квитанций о доставке. Подсистема интеграции обеспечивает выполнение следующих функций:

      • Создание сценариев синхронизации для любого справочника и каждой целевой ИС.
      • Синхронизация данных в соответствии с разработанными сценариями.
      • Ведение протокола синхронизации.
      • Автоматический/ ручной запуск репликации после появления изменений в контенте.
      • Запуск репликации по расписанию.
      • Конфигурация предоставляет необходимые сервисные функции, которые позволяют осуществлять загрузку и выгрузку данных с использованием файлов – источников формата XML

      Администрирование ЕС НСИ

      Подсистема администрирования предназначена для определения списка пользователей ЕС НСИ, назначения прав доступа к информации, установки/снятия различных ограничений на работу с объектами НСИ, реализации процессов обеспечения протоколирования работы системы.

      В рамках подсистемы администрирования реализован следующий функционал:

      • Создание новой учетной записи пользователя.
      • Редактирование учетных записей пользователей.
      • Назначение ролевых функций пользователям:
        • Пользователь системы управления НСИ;
        • Эксперт службы НСИ;
        • Старший эксперт службы НСИ;
        • Методолог службы НСИ;

        Необходимым требованием для реализации этого способа является обновление всех конфигураций на управляемое приложение. Именно в Бухгалтерии 3, ЗУП 3 КОРП, ERP 2, УТ 11 имеются инструменты, которые мы будем использовать для нашей задачи.

        Использовать мы будем EnterpriseData, относительно новый стандарт обмена в конфигурациях 1С. Стандарт EnterpriseData хорош тем, что конвертация происходит через промежуточный формат, собственно EnterpriseData. Следовательно, если типовая конфигурация поддерживает этот стандарт, то теоретически мы можем настроить обмены любых типовых конфигураций друг с другом. Т.к. все они понимают формат EnterpriseData, то они могут, как грузить в, так и загружать из этого формата.

        По крайней мере, если для перегрузки из разнородных конфигураций могут потребоваться дополнительные обработки данных, то для перегрузки между двумя идентичными конфигурациями нам не должно требоваться ни чего, кроме того, чтобы эти конфигурации умели обмениваться через EnterpriseData.

        Я решил проверить это предположение и попробовать настроить загрузку справочника Номенклатура из базы источника в базу приемника.

        Дальше я опишу какую последовательность действий необходимо произвести, для того, чтобы настроить такой обмен.

        1. Создадим несколько баз:

        - БП Мастер база - это будет наша центральная база из которой мы будем управлять нашими НСИ;

        - Несколько Подчиненных баз (например, БП Подчиненная 1, БП Подчиненная 2, БП Подчиненная 3. )

        Соответственно у нас должна будет получиться структура типа "звезда", когда из Мастер базы будет рассылаться НСИ в Подчиненные базы.

        2. Идем в БП Мастер база, зададим ей префикс MD и включим возможность осуществления Синхронизации данных:


        3. Создадим новую синхронизацию, нам необходимо использовать вариант "Другая программа", т.к. типовой синхронизации БП - БП не существует. Но нам будет достаточно и этого варианта:


        4. Настроим параметры подключения.

        5. Настроим правила отправки и получения данных

        5.1 Правила отправки данных - Нормативно-справочная информация: оставляем "Отправлять всю";

        5.2 Правила отправки данных - Документы: нам грузить документы не нужно, поэтому ставим "Не отправлять";

        5.3 Правила получения данных: в этой ситуации нам не важны, оставляем все поля пустыми


        5.4 Тут нам необходимо выполнить замену правил регистрации объектов.

        Т.к. у меня стоит задача обеспечить единые справочники Номенклатуры, следовательно необходимо отменить регистрацию всех не связанных с номенклатурой справочников и оставить только справочники: Номенклатура, Номенклатурные группы, Виды номенклатуры.

        Для этого перейдем в форму загрузки Правил регистрации объектов:


        Тут по соответствующей кнопке выполним сохранение правил на свой компьютер.


        Эти правила нам необходимо загрузить в Конвертацию 2.1 и внести в них изменения.

        Создадим новые Правила регистрации объектов


        Зайдем в каждое правило, которое мы не хотим выгружать и в обработчик ПередОбработкой добавим одну строку:


        Полученные правила нам необходимо сохранить в файл и загрузить в нашу настройку обмена в БП Мастер база

        Сохраняем сделанные настройки.

        6. Выполним начальную выгрузку данных

        7. Дальше несмотря на то, что мы заменили правила регистрации, программа при начальной выгрузке проводит регистрацию всех объектов к выгрузке. Поэтому перейдем к составу отправляемых данных и проверим регистрацию объектов к отправке.


        Если там имеются регистрации объектов, которые нам не нужно выгружать, надо снять регистрацию. После чего надо провести повторную выгрузку данных.

        8. Идем в подчиненную базу и выполняем настройку правил отправки и получения данных в ней

        8.1 Правила отправки данных - Нормативно-справочная информация: ставим "Не отправлять", т.к. НСИ мы будем передавать только в одном направлении от Мастер базы в Подчиненные.

        8.2 Правила отправки данных - Документы: документы аналогично выгружать не будем, ставим "Не отправлять"

        8.3 Правила получения данных: так же оставляем не заполненными


        После всех этих настроек мы можем, выгружать необходимые нам НСИ в подчиненные базы.

        Дальше можно развить тему, например, запретить создание элементов НСИ в подчиненных базах.

        Управление НСИ в эпоху Big Data: какой MDM нужен современному бизнесу

        Автор Анна Вичугова Категория Machine Learning, Use Cases, Статьи, Цифровая трансформация

        Master Data Management, MDM

        Еще материалы по теме

        Как связать Neo4j с Apache Kafka: 2 способа интеграции

        Как связать Neo4j с Apache Kafka: 2 способа интеграции

        Интеграция Neo4j с Apache Spark: обзор коннектора 4.1

        Интеграция Neo4j с Apache Spark: обзор коннектора 4.1

        ACID-транзакции в Apache Hive: настройка, принципы работы и ограничения

        ACID-транзакции в Apache Hive: настройка, принципы работы и ограничения

        Напиши отзыв и выиграй

        Новое на сайте
        Отзывы на Google

        BigDataSchool

        Курсы от инженеров и для инженеров. Всё чётко, по делу. Тренеры глубоко знают продукты, о которых читают лекции. read more

        Принимал участие в обучении по курсу "KAFKA: Администрирование кластера Kafka". В целом понравилось, но хотелось бы более качественной организации работы с лабгайдами. Когда лектор выполняет лабораторную работу, не совсем удобно выполнять её параллельно - где-то отстаешь, где-то убегаешь вперед. Может будет лучше разделить на более мелкие модули. read more

        Прошел Курс Администрирование кластера Hadoop. Подача материала хорошая, размеренная. Преподаватель отвечает на все вопросы, и пытается как можно прозрачней приподнести материал. read more

        Обучался на программе HADM. Подача материала доступная. Порадовало соотношение теории и практики 50/50. Отзывчивый преподаватель. Однозначно рекомендую. read more

        Заканчиваю прохождения курса "ADH: Администрирование кластера Arenadata Hadoop". Хочу сказать, что выстроен грамотный план обучения, где отслеживается отличное соотношение практики и теории. Преподаватель, Комисаренко Николай, обладает отличным чувством юмора, что позволило не скучать на серьезных темах, и обладает отличным навыком объяснять сложные вещи простыми словами. На курс приходил с большим числом вопросов, на все из которых получил грамотные ответы, после чего все разложилось по полочкам. read more

        В декабре 2020 прошел курс "Администрирование кластера Kafka". Курс проводился удаленно. В части организации обучения придраться не к чему. Необходимую информацию прислали заранее, лабораторный стенд и портал обучения работали стабильно. Немного разочаровали лабораторные работы. На месте BigDataSchool я бы их переделал. В документах с лабами нужно сделать нормальное форматирование и нумерацию пунктов. Все пункты, необходимые для выполнения, нужно сделать в виде текста. В лабах много работ по созданию «обвязки» kafka (создание самоподписных сертификатов, развертывание MIT и т.п), которые можно сделать заранее. Это позволит студентам уделять больше времени изучению самой kafka. BigDataSchool идет навстречу и позволяет пользоваться лабораторным стендом гораздо дольше установленных часов обучения. Это очень к стати, если в течении дня Вы вынуждены отвлекаться от обучения. В целом, курс дает хорошую базу по kafka. Преподаватель хорошо подает материал, делает акценты в нужных местах, подробно отвечает на вопросы. read more

        С 30 ноября по 4 декабря прошел курс "Администрирование кластера Hadoop". Учитывая, что я обладал довольно поверхностной информацией в данной теме (я CIO) - ушел с курсов просветленным. Многое стало понятным, в процессе обучения наложил знания на существующую инфраструктуру компании, в которой работаю. Рекомендую коллегам руководителям в ИТ - прокачаться на данном курсе, вы поймете куда двигаться в ближайшие 2-3 года. Админам, работающим или стремящимся в BigData- обязательно! Рекомендация - настойчиво, для тех кто "думает, что знает": перед курсом уделите время работе с командной строкой Linux! Total recall - обязательное условие. Много практической работы, и если есть затык в Linux - будете безнадежно отставать при выполнении лабораторных работ. read more

        В октябре прошел курс Анализ данных с Apache Spark, это был второй раз, когда я обучался в этом месте. В целом, все хорошо, думаю что не последний. Не могу не подчеркнуть профессионализм преподавателя Королева Михаила, отвечал на поставленные вопросы, делился своим опытом. В общем, рекомендую! read more

        Прошел тут курс "NIFI: Кластер Apache NiFi", вёл Комисаренко Николай. Живое и понятное обучение. Преподаватель отвечал на все вопросы от самых глупых, до самых умных и это было приятно. Так же порадовало, что преподаватель не идёт по заранее проложенным рельсам, а проходит весь путь вместе с вами, стараясь привнести, что-то новое. read more

        Спасибо за обучение!

        Очень крутое место, много практики, понятное объяснение заданной темы. Еще вернусь :) read more

        Обучался на курсе HADM администрирование кластера Arenadata Hadoop. Интересный курс, хорошая подача. read more

        Обучался на курсе по администрированию Apache Kafka. Хорошая подача материала, интересные практические задачи. Возникающие вопросы доходчиво и ясно объясняют. Остался очень доволен. read more

        Был на курсе "Администрирование кластера Hadoop". Отличная подача материала. Очень много практики и технических подробностей. Подробный обзор стека технологий, платформы и инструментов. Рекомендую! read more

        Учился на курсе Администрирование Hadoop. Курс вёл Николай Комиссаренко. Отлично подготовленная, продуманная, системная программа курса. Практические занятия организованы так, что у студентов есть возможность познакомиться с реальными особенностями изучаемого продукта. Отключил голову и прощёлкал лабы по книжке - здесь не работает. Преподаватель легко и развёрнуто отвечает на возникающие вопросы не только по теме предмета, но и по смежным. read more

        Прошёл курс по администрированию Apache Kafka. Очень понравилась как подача материала, так и структура курса. Только вот времени маловато оказалось. не всё успел доделать, но это уже не к курсу претензии :). Практики было довольно много, и это хорошо read more

        Прошёл курс "Hadoop для инженеров данных" у Николая Комиссаренко. Информация очень актуальна и полезна, заставляет задуматься о текущих методах работы с большими данными в нашей компании и, возможно, что-то поменять. Занятия с большим количеством практики, поэтому материал хорошо усваивается. Отдельное спасибо Николаю за то, что некоторые вещи объяснял простым языком, понятным даже для "чайников" в области Hadoop. read more

        I did not find any disadvantages in the course. Pluses: + A lot of practice (50% of the time). + The teacher can explain difficult topics easy way. + Announced topics were considered. Besides additional materials were studied. read more

        Посетил курс администрирование Hadoop. На курсе устанавливали кластер с нуля на виртуалках в облаке Amazon. Настраивали Kerberos, тестировали выполнение задач на кластере, управление ресурсами кластера. Т.к. кластер развернут в облаке, после завершения занятий можно самостоятельно работать с кластером из дома. Лекции вел Николай Комиссаренко, после обучения предоставил все материалы. На занятиях отвечал на дополнительные вопросы, рассмотрели как решить пару живых задач от студентов. Хороший курс для начала изучения BigData. Update Дополнительно прошел обучения по Airflow и NiFi. Курсы двух дневные упор на занятиях делался на использовании продуктов, администрированию уделялось меньше времени. Т.к. курсы короткие, то перед занятиями желательно почитать обзорные статьи по продуктам, чтобы не терять время на базовое погружение и задавать более предметные вопросы. Перед началом занятий желательно связаться с школой и запросить что больше интересуется на обучении. Может быть предложить свои кейсы, чтобы на лабораторных отработать не только общий функционал. read more

        Был на основах хадупа, все материалы описаны доступным языком. В частности хочу отметить преподавателя Николая Комисаренко, как очень квалифицированного преподавателя и специалиста. read more

        Отличные курсы по "Администрированию Hadoop" и отличная организация проведения занятий, все по делу и понятно. Очень понравилось, знания получены основательные. Материал подаётся основательно. Постараюсь ещё попасть на другие курсы. read more

        Курс по Isilon у Николая Комиссаренко мне тоже понравился. Грамотный и отзывчивый. Возникали вопросы по курсу он отвечал на все вопросы. Спасибо. Успехов ему read more

        Посетил курс администрирование Hadoop. На курсе устанавливали кластер с нуля на виртуалках в облаке Amazon. Настраивали Kerberos, тестировали выполнение задач на кластере, управление ресурсами кластера. Т.к. кластер развернут в облаке, после завершения занятий можно самостоятельно работать с кластером из дома. Лекции вел Николай Комиссаренко, после обучения предоставил все материалы. На занятиях отвечал на дополнительные вопросы, рассмотрели как решить пару живых задач от студентов. Хороший курс для начала изучения BigData. read more

        Эффективный практический курс. Прошел курс Администрирование Hadoop в октябре 2018. Хорошо наполненный материал, оптимальная длительность курса и все делалось своими руками. Местами было непросто, но преодолимо. Оправдал все ожидания, после курса появилось целостное понимание создания и работы кластера. Николай, большое спасибо read more

        Прошёл курс по администрированию Hadoop Cloudera. Отличная "живая" подача материала на "простом" языке. Как плюс работа с кластером построена на платформе AWS. На курсах не скучно, рекомендую! read more

        Я узнал много нового посетив курс уважаемого Николая Комиссаренко по айзелону. Очень грамотный специалист обучение было очень полезным и грамотным. Спасибо вам большое read more

        Читайте также: