1с дата акселератор настройка

Обновлено: 06.07.2024

Добавлен встроенный веб-сервер (только для одной базы, из командной строки управление).

Реализован упрощенный OLAP . Теперь можно работать на чтение с копией таблицы с ведомой СУБД.
Реализовано событие технологического журнала <DBCOPIES > .Механизм копий базы данных требует лицензию КОРП.

При чтении помещеной копии таблицы в таблицу Inmemory используется новый механизм Дата акселератор. Добавлен в виде отдельной функции менеджера кластера.

Реализован пакетный режим работы тонкого и толстого клиентских приложений. Пакетный режим распространяется от начала запуска клиентского приложения до окончания работы обработчика ПередНачаломРаботыСистемы модуля приложения. После окончания работы обработчика пакетный режим автоматически отключается. В пакетном режиме запуска подавляется вывод любых диалогов системы. Признаком пакетного режима работы клиентского приложения является команда командной строки запуска /DisableStartupDialogs .

Уменьшено время полного пересчета итогов для регистров бухгалтерии и накопления в следующих случаях:

  • пересчет итогов во время операции Тестирование и исправление из конфигуратора;
  • использование метода ПересчитатьИтоги() при выполнении следующих условий:
    • монопольный доступ к информационной базе;
    • наличие административных прав у пользователя, от имени которого выполняется пересчет итогов;
    • метод исполняется в сеансе, в котором не используется ни одного разделителя.

    Ускорено выполнение реструктуризации информационной базы при использовании СУБД Microsoft SQL Server и IBM DB2.

    Уменьшилась вероятность одновременного закрытия множества соединений с Microsoft SQL Server, что положительно влияет на производительность работы с TempDB .

    Для регистра расчета реализован кластерный индекс по регистратору. Перестройка индекса будет выполнена при реструктуризации регистра расчета или при переиндексации во время выполнения операции тестирования и обновления.Если при удалении записей из таблицы фактического периода действия не установлен отбор по измерениям регистра, то для запроса удаления не формируется соединение с основной таблицей регистра. Снижена вероятность табличной блокировки при удалении записей фактического периода действия регистра расчета.

    В тонком, толстом и веб-клиентах, форма снимает блокировку объекта через 1 минуту после снятия признака модифицированности.(раньше снималась при закрытии формы)При работе под управлением СУБД PostgreSQL, в технологический журнал (событие <plansql> ) помещаются планы запросов для запросов UPDATE , DELETE и INSERT . (Раньше был только SELECT)

    Реализовано отображение критических ошибок оптимизированного механизма обновления конфигурации базы данных в конфигураторе и в событии <EXCP> технологического журнала.

    В технологическом журнале реализованы свойства Dbms , Database , DBCopy для событий обращения к СУБД ( DB2 , DBMSSQL , DBPOSTGRS , DBORACLE ), событий EXCP и SDBL .

    С версии 1С 8.3.14 в платформе появился новый функционал «Копии базы данных». В данной публикации я хочу рассказать, как включить использование данного механизма в платформе 1с и как его использовать для получения отчетов с копии базы данных, которая может быть вынесена на внешний сервер относительно текущей базы данных, а также как использовать систему «Дата акселератор», в которой база данных целиком размещена в оперативной памяти рабочего сервера кластера серверов «1С:Предприятия».

    (0) спасибо за обзор!

    Пока слодилось впечатление, что все это пока эксперименты от фирмы 1С. Да и для энткрпрайза выглядят странным все эти ограничения.

    Вообщем, идея хорошая, но пока еще сыро. Если читают сотрудники фирмы 1С - без обид :) Просто сравните продукт с ПО от Softpoint.

    Вообщем, идея хорошая, но пока еще сыро. Если читают сотрудники фирмы 1С - без обид :) Просто сравните продукт с ПО от Softpoint.
    По поводу сырости механизма согласен, но как писал в статье все мы надеемся, что будет развитие в этом направлении так, как 1с очень не хватает этого.
    Может быть по этому данный механизм и не всем доступен, а лишь в ограниченном тестировании.
    Для нас например очень критично, что запрос на "Дата акселератор" не может быть выполнен при использовании в запросе табличных частей. Пока слодилось впечатление, что все это пока эксперименты от фирмы 1С.

    Ну рано или поздно должно было дойти до 1С, что шардинг - общепринятая практика. Датакластер - это просто навеска над MS SQL, когда софтпоинтовское решение красиво распределяет запросы на чтение между узлами кластера, что приводит зачастую к пропорциональному росту доступности (читаем мы из базы куда чаще, чем пишем).

    Исходя из этого всегда возникает вопрос: а могут ли 1С-неги сделать реальный роутинг запросов на чтение между кластерами? Вот у тех же Деловых Линий три сервака дали увеличение доступности данных чуть ли не в три раза, что говорит о том, что чтение там сильно превалирует над записью (этим "добрые" люди из софтпоинта отлично пользуются, предлагая SLA с пессимистической оценкой типа на три узла в два раза).

    В общем 1С правильным путем идет, но общая сложность решения увеличится, отсюда ка бы вытекает, что скоро экзамен на эксперта по технологическим вопросам будут сдавать не 1С-ники, а совсем другие люди )))

    Как ускорить «1С» с помощью функционала КОРП

    Ваши пользователи жалуются на медленную работу базы? Есть способ решить эту проблему – установить платформу «1С:Предприятие 8» с функционалом КОРП. Но для начала разберемся, в каких случаях это необходимо сделать и какие возможности вы от этого получаете.

    Для написания статьи мы провели интервью с Родионовым Сергеем, сертифицированным специалистом по эксплуатации крупных информационных систем Департамента проектов внедрения и консалтинга «ГЭНДАЛЬФ».

    Для чего нужен функционал КОРП?

    Функционал КОРП предназначен для поддержания работы «1С» в высоконагруженных системах. Речь идет о работе базы на уровне крупного предприятия любой отрасли.

    Обратите внимание!

    В 2019 году фирма «1С» решила, что функционал КОРП должен быть отделен от функционала ПРОФ при помощи технической защиты. То есть, если у вас нет специальных лицензий, вы не сможете этим функционалом пользоваться.

    В каких случаях нужно использовать функционал КОРП?

    Функционал КОРП платформы «1С:Предприятие 8» необходим, если для автоматизации бизнеса вы используете ресурсоемкий программный продукт, например, 1С:ERP. Критерием для использования также является большое количество пользователей базы - более 500 человек. Если нагрузка слишком велика, даже при наличии 100 пользователей может понадобится функционал КОРП.

    Одним из первых «звонков» к использованию КОРП будут жалобы пользователей на медленную работу: долго проводятся документы, долго открываются формы справочников и документов, замедленный поиск в списках контрагентов и т.п. Когда даже на одну операцию уходит больше времени, эффективность работы снижается, а, соответственно, пока менеджер не закончит работу с одним документом, он не приступит к следующему звонку. А чем больше времени уходит на оформление документа, тем меньше звонков в день обрабатывается.

    Узнайте больше о видах лицензирования «1С»!

    Какие возможности дает КОРП?

    Функционал КОРП помогает проводить балансировку работы базы таким образом, чтобы задействовалось максимальное количество ресурсов, которые есть у IT-службы. Например, кластер серверов, состоящий из нескольких физических машин. Кластер – это совокупность серверов. Платформа ПРОФ крайне ограничено позволяет настроить работу так, чтобы эти сервера использовались максимально эффективно. А КОРП предоставляет более тонкую настройку работы более чем одного сервера «1С» и балансирует нагрузку между ними.

    Управление нагрузкой в кластере

    Для того чтобы балансировать нагрузку есть специальные параметры, которые делятся на несколько групп. Первая группа предназначена для распределения нагрузки в кластере серверов «1С:Предприятия 8». Это тот случай, когда в базе работает большое количество пользователей, и нужно сделать так, чтобы не было торможений и подвисаний. Известны случаи, когда пользователь нажимает кнопку и ждет пять минут, пока документ закроется.

    IT-специалисты смогут выделить отдельный сервер для обслуживания большой базы или ресурсоемких задач, чтобы работа в ней стала эффективнее (не будет конкуренции ресурсов на уровне сервера). IT-директору и управленцу КОРП даст возможность повысить оперативность работы пользователей базы, а соответственно и ускорить работу всей компании. Благодаря тому, что КОРП позволяет выделить максимальное количество ресурсов на обслуживание нужной базы, торможений и подвисаний в системе возникать не будет.

    Или можно сделать так. Есть в «1С» такое понятие как «фоновые задания» - задания, которые выполняются в фоновом режиме без участия пользователя: служебные операции, пересчет данных, подготовка данных для аналитических отчетов. Платформа КОРП позволяет сделать настройку так, чтобы фоновые задания обслуживал определенный сервер. Таким образом, фоновые задания не будут мешать работе пользователей (менеджерам по продажам).

    Ваша «1С» работает медленно?

    Закажите аудит производительности базы, чтобы подобрать лучший способ для ее ускорения уже сегодня!

    Управление потреблением ресурсов

    В платформу КОРП встроены механизмы мониторинга, которые позволяют специалистам по сопровождению «1С» контролировать такие параметры, как расход памяти, частота процессора, количество пользователей, которые работают с базой данных. Все это поможет в дальнейшем расследовать инциденты, такие как жалобы пользователей на медленную работу. В этой ситуации IT-специалист открывает систему мониторинга КОРП и видит, к примеру, что зашкаливает количество потребленной памяти. Тогда принимается решение о перезагрузке сервера или проводятся настройки системы (в зависимости от выявленной проблемы).

    Механизм управления потреблением ресурсов решает три основные задачи:

    • Автоматический мониторинг потребления ресурсов на сервере «1С:Предприятие».
    • Повышение безопасности сервера за счет прерывания операций. выполнение которых влияет на производительность сервера в целом.
    • Сбор статистики потребления ресурсов за произвольный промежуток времени.

    Так, IT-служба сможет предотвращать аварийное расходование ресурсов и равномерно распределять ресурсы между базами или пользователями.

    Для управления механизмом в настройки кластера добавлено два новых объекта:

    • Счетчик потребления ресурсов – позволяет установить показатели, по которым будет накапливаться статистика. Добавлено два новых показателя, которые были недоступны ранее: процессорное время и количество сеансов.
    • Ограничение потребления ресурсов - позволяет указать предельные значения для выбранного счетчика, и назначить действие, которое будет выполнено при превышении этих значений.

    Управление безопасностью

    КОРП также предоставляет возможность более гибко управлять безопасностью. Например, профили безопасности помогут настроить доступ пользователей к сети Интернет и защиту от опасных действий. Например, установить запрет на открытие внешних обработок и отчетов, которые могут повредить работу базы или сервера.

    Профили безопасности создаются администратором кластера и позволяют настраивать следующие разрешения:

    • Возможность использования данного профиля в качестве профиля безопасности безопасного режима.
    • Доступные ресурсы файловой системы сервера.
    • Доступные COM-объекты (только для серверов, работающих под управлением операционной системой Windows).
    • Доступные внешние компоненты.
    • Доступные внешние модули (внешние отчеты, обработки, расширения конфигурации), а также возможность использования оператора Выполнить() и функции Вычислить().
    • Доступные приложения операционной системы.
    • Доступные ресурсы сети Интернет.
    • Возможность доступа к привилегированному режиму.
    • Возможность доступа к функциям криптографии.
    • Возможность расширения прав доступа.
    • Возможность расширения всех модулей конфигурации.

    update

    Автоматическое обновление тонкого клиента

    База «1С» представляет из себя клиент-серверную программу: сервер, на котором стоит база, и клиенты, работающие в базе. Ядро (сервер) и клиентские версии ядра должны совпадать. Для обновления требуются определенные действия со стороны пользователя, но не всегда рядовой пользователь достаточно компетентен, чтобы сделать все самостоятельно. Если сотрудник неделю отсутствовал в командировке, а в этот момент произошло плановое обновление платформы, ему приходится перезагружаться, звонить в службу поддержки, чтобы ему все настроили и т.д. Представьте, если этот сотрудник находится в другом филиале или работает удаленно, а службы поддержки нет рядом, - есть риск, что полдня менеджер не будет работать.

    Функционал КОРП платформы «1С:Предприятие 8» позволяет избежать всего этого. Установка клиента происходит автоматически в нужный вам момент. Запуск займет всего 10 минут.

    Взаимодействие сотрудников в базе «1С»

    Сервер взаимодействия позволяет организовать аналог Skype только на базе «1С». Ваши сотрудники смогут обмениваться файлами и звонить, а главное здесь преимущество – все это можно делать с привязкой к конкретному документу. Менеджерам достаточно просто нажать на кнопку и вызвать друг друга в чате – перед обоими сотрудниками откроется нужный документ. Не придется параллельно работать с почтой, копировать в нее документ и отправлять коллегам, вся работа ведется в базе.

    Сервер взаимодействия полезен для использования в рамках CRM-системы, когда менеджерам необходимо оперативно обмениваться информацией по состоянию дел клиента.

    Получение аналитической отчетности

    Инструмент «дата акселератор» создает виртуальные копии баз, которые помогают более оперативно получать аналитическую отчетность. В первую очередь, это будет полезно руководителю компании или финансовому директору. Речь о тех случаях, если с самой базой управленцы не работают, но при этом им необходим отчет, получение которого из базы данных занимает продолжительное время. Это может помешать оперативной работе пользователей, например, менеджеров по продажам.

    Возник вопрос по теме?

    Оставьте его в форме ниже, и наши специалисты проконсультируют вас бесплатно!

    Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

    Формирование банковской регуляторной отчетности является сложным процессом с высокими требованиями к точности, достоверности, глубине раскрываемой информации. Традиционно для автоматизации отчетности организации используют классические системы хранения и обработки данных. При этом с каждым годом активно растет число задач, где требуется не просто проводить аналитику большого объема разнородных данных, но и делать это с требуемой для бизнеса скоростью.

    Совокупность этих факторов привела к изменению процессов управления данными. Data Platform – подход, который предлагает переосмысление традиционной концепции классического хранилища данных (КХД) с использованием технологий Big Data и новых подходов, применяемых при построении Data Lake платформ. Data Platform позволяет качественно учесть такие важные факторы, как рост количества пользователей, требования к time2customer (обеспечить возможность высокой скорости выполнения изменений), а также стоимость получаемого решения, в том числе, с учётом его дальнейшего масштабирования и развития.

    В частности, предлагаем рассмотреть опыт автоматизации отчетности по РСБУ, налоговой отчетности и отчетности в Росфинмониторинг в Национальном Клиринговом Центре (далее – НКЦ).
    Выбор архитектуры, позволяющей реализовать решение с учётом нижеизложенных требований, проходил крайне тщательно. В конкурсе участвовали как классические решения, так и несколько «бигдатных» – на Hortonworks и Oracle Appliance.

    Предъявлялись основные требованиями к решению:

    • Автоматизировать построение регуляторной отчётности;
    • В разы увеличить скорость сбора и обработки данных, построения конечных отчетов (прямые требования на время построения всей отчетности за день);
    • Разгрузить АБС за счет вывода процессов подготовки отчетности за пределы Главной книги;
    • Выбрать оптимальное решение с ценовой точки зрения;
    • Предоставить пользователям комфортное, гибкое, настраиваемое решение с точки зрения формирования отчетности;
    • Получить масштабируемую отказоустойчивую систему, совместимую с технологическим стеком группы компаний МБ.


    СУБД систем источников является Oracle, также источниками являются плоские файлы различных форматов и изображения (для целей налогового мониторинга), загрузка отдельной информации производится посредством REST API. Таким образом, появляется задача работы как со структурированными, так и с неструктурированными данными.

    Рассмотрим подробнее области хранения данных Hadoop кластера:

    Operation Data Store (ODS) – данные хранятся «as is» системы источника, в той же форме и формате, которые определены системой-источником. Для хранения истории по ряду необходимых сущностей реализован дополнительный архивный слой данных (ADS).

    CDC (Change Data Capture) – почему отказались от захвата дельты

    Отдельного журнала аудита, пригодного для извлечения дельты, на стороне систем источников нет. При таких исходных условиях оптимальным выглядит отбор всех записей или выделение дельты на стороне Hadoop кластера.

    При обработке дельты (и поддержке историчности) в рамках кластера необходимо учитывать следующее:

    • В силу append-only режима хранения данных, варианты историчности, требующие обновления уже существующих данных, неприменимы, либо требуют сложной логики;
    • Для сущностей, для которых в исходной системе уже поддерживается историчность данных, необходимо хранить полный срез историчности, т.к. возможны изменения в прошлых датах, и нужно учитывать полное состояние истории на дату расчета;
    • Работа с историчностью с одной датой актуальности требует либо отбора только актуальных записей в рамках первичного ключа, либо создания промежуточных «кэширующих» витрин;
    • При отсутствии промышленного CDC-средства загрузка данных из источника «срезами» будет быстрее, чем выделение «дельты» на уровне загрузки и затем прогрузка только выделенной «дельты».
    • Реализован слой ODS, хранящий данные СИ в виде AS IS. Таким образом, никакой нагрузки на СИ, помимо однократных чтений для загрузки в Hadoop кластер, нет;
    • В ODS историчность на уровне нетранзакционных данных СИ организована посредством архивного слоя данных, транзакционные данные единоразово загружаются на ежедневной основе (партицированно);
    • Данные в PDS выстраиваются на основании историчных и неисторичных данных СИ в виде «1 срез актуальных данных на 1 дату» в разрезе каждой из сущностей PDS.

    Portfolio Data Store (PDS) – область, в которой подготавливаются и хранятся в унифицированном централизованном формате критичные данные, к которым предъявляются повышенные требования по качеству не только данных, но и структуры синтаксиса и семантики. Например, к данным относятся реестры клиентов, сделок, баланс и т.п.

    Разработка ETL-процессов ведется на Spark SQL с помощью Datagram. Он относится к классу решений — «акселераторов», и позволяет упростить процесс разработки посредством визуального проектирования и описания преобразований данных с помощью привычного синтаксиса SQL – а в свою очередь, код самих джобов на языке Scala генерируется автоматически. Таким образом, уровень сложности разработки эквивалентен разработке ETL на более традиционных и привычных инструментах таких, как Informatica и IBM InfoSphere DataStage. Следовательно, это не требует дополнительного обучения специалистов или привлечения экспертов со специальными знаниями технологий и языков Big Data.

    На следующем этапе рассчитываются отчетные формы. Результаты расчетов помещаются в витрины СУБД Oracle, где на базе Oracle Apex строятся интерактивные отчеты. На первый взгляд может показаться нелогичным использование коммерческого Oracle наряду с open-source технологиями Big Data. Исходя из следующих факторов, было принято решение использовать именно Oracle и Apex:

    • Отсутствие альтернативного BI-решения, совместимого со свободно-распространяемой СУБД и отвечающего при этом требованиям Бизнеса НКЦ в части построения экранных/печатных форм регуляторной отчетности;
    • Использование Oracle для DWH, задействованных в качестве систем-источников данных Hadoop кластера;
    • Наличие гибкой платформы Neoflex Reporting на Oracle, обладающей большинством регуляторных отчетов и легко интегрируемой со стеком технологий Big Data.

    Поэтому, в случае необходимости расширения под новый класс задач, КХД зачастую сталкивается с фактически новым проектом внедрения с соответствующим T2C, в то время как в Data Platform все данные уже есть в системе и могут быть задействованы в любой момент времени без предварительной подготовки. Например, данные собираются из ODS, оперативно обрабатываются, «прикручиваются» к конкретной задаче и передаются конечному потребителю. Если непосредственное использование показало, что функционал корректен и применим в будущем, то запускается полный процесс, в рамках которого строятся целевые трансформации, подготавливаются или обогащаются портфели данных, задействуется слой витрин и строятся полноценные интерактивные отчеты или выгрузки.

    Проект еще в стадии реализации, тем не менее, можно отметить ряд достижений и подвести промежуточные итоги:

      Решены классические задачи формирования регуляторной отчетности:

    • Реализованы многофункциональные интерактивные отчеты и их выгрузки в различных форматах, поддерживающие требования регуляторов;
    • Настроена гибкая ролевая модель с использованием LDAP авторизации;
    • Достигнута требуемая скорость построения отчетности: 35 минут на загрузку из источников и построение портфелей данных в HDFS, ещё 15 минут на построение всех отчетных форм (50 шт. на момент написания статьи) в рамках одного операционного дня;
    • Настроена консоль администратора для простого управления загрузкой данных без понимания деталей работы HDFS и всего «зоопарка» Big Data;
    • Покрытие системы контроля качества данных расширено в том числе и на область портфелей данных (PDS) Hadoop кластера.

    Автор материала — Кристина Козлова, менеджер бизнес-направления Big Data Solutions компании «Неофлекс»

    Читайте также: