Qlik sense ошибка вне памяти вычисления

Обновлено: 05.07.2024

В данной статье описаны шаги, которые нужно предпринять в случае переименования сервера, на котором располагается QlikSense или переноса ShareFolder. В первом случае, нужно проделать оба пункта, во втором только последний.

Изменить имя хоста Qlik Sense.

Имя хоста в Qlik Sense определяется содержимым host.cfg, поэтому необходимо изменить значение в этом файле.

Одноузловой сервер:

* Имейте в виду: центральный сертификат используется для шифрования строк паролей, используемых в подключениях, поэтому изменение этого сертификата означает, что вам нужно будет воссоздать все соединения, содержащие информацию о пароле.

Мультиузловой сервер

В многоузловой среде есть два возможных сценария изменения имени хоста для узла Rim и для центрального узла. Сертификаты всегда генерируются центральным узлом и основаны на имени хоста, поэтому изменение имен хостов здесь занимает больше времени и потребует перераспределения, а в некоторых случаях также удаления и чтения информации о узле.

Изменение имени Rim Node

На центральном сервере:

Откройте Qlik Management Console (QMC)
Нажмите Nodes
Выберите узел, имя хоста которого изменено
Нажмите Delete, затем Confirm
Нажмите Create
Заполните необходимые детали узла

Нужно воссоздать и/или изменить любые правила, использующие имя старого узла

Изменение имени Central Node

Все сертификаты, используемые Qlik Sense, создаются и подписываются центральным узлом и основаны на имени хоста. Изменение имени хоста на центральном узле нарушает эту цепочку доверия, и поэтому все сертификаты на всех узлах необходимо воссоздать и перераспределить.

На каждом Rim node:

Остановите все службы Qlik Sense
Откройте Microsoft Management Console(MMC) и удалите все текущие сертификаты QlikSense
Остановите все службы Qlik Sense

После запуска без сертификатов они войдут в режим настройки, то есть они будут прослушивать новые сертификаты

На Central node:

В QMC перейдите в раздел Nodes
Выберите каждый узел и нажмите Redistribute

Далее следуйте инструкциям на экране.
* Имейте в виду: центральный сертификат используется для шифрования строк паролей, используемых в подключениях, поэтому изменение этого сертификата означает, что вам нужно будет воссоздать все соединения, содержащие информацию о пароле.

После этих шагов в консоли в разделе Nodes должны быть прописаны актуальные хосты:

Изменение SharedFolder

Если папка SharedFolder находилась на сервере, который был переименован, или папка была перенесена, то одна при открытии приложения будет ошибка:

Остановите все службы Qlik Sense, кроме Qlik Sense Repository Database на всех узлах
Переместите папки Apps, ArchivedLogs, CustomData и StaticContent из предыдущей SharedFolder в новую
Откройте файл QlikSenseUtil.exe (местоположение по умолчанию C:\Program Files\Qlik\Sense\Repository\Util\QlikSenseUtil\QlikSenseUtil.exe).

В QlikSenseUtil:
Нажмите «Connect to database», чтобы подключиться к базе данных репозитория
Имя хоста: введите имя хоста базы данных репозитория. При запуске с центрального узла можно указать localhost.
Пользователь базы данных: qliksenserepository (если вы не настроили сайт для работы с другой учетной записью)
Пароль: пароль для пользователя qliksenserepository

Затем нажмите на раздел «Service Cluster» и нажмите «ОК», чтобы получить текущие значения путей SharedFolder. Замените эти значения на актуальные. Например:

Нажмите «Save» для сохранения изменений
Нажмите «Clear» для очистки значений, затем «ОК» для проверки новых значений. Параметры должны быть актуальными.
Запустите службы QlikSense

Добавить комментарий Отменить ответ

Коротко о себе:

Меня зовут Потехин Дмитрий. Я работаю в ИТ уже более 10 лет. За это время занимался как администрированием, так и разработкой. В текущее время применяю все свои знания в различных проектах, изучаю новые направления и делюсь с вами своим опытом.

Сегодня поговорим об устранение неполадок в Qlik Sense. Мы обсудим, как устранить проблемы, с которыми вы можете столкнуться в процессе работы в Qlik Sense. В этой статье мы увидим, как устранять проблемы, связанные с загрузкой данных, созданием визуализаций, обнаружением, экспортом, развертыванием и администрированием.

Итак, приступим к рассмотрению вопроса устранения неполадок в Qlik Sense.

Устранение неполадок в Qlik Sense – неприятные проблемы и их решения

1. Устранение неполадок в Qlik Sense

i. Устранение неполадок при загрузке данных в Qlik Sense

Ниже обсуждаются проблемы и их предлагаемые решения для устранения неполадок Qlik Sense.

Подключение к данным прерывается после перезапуска Сервера SQL?

Закройте приложение или все запущенные приложения и перезапустите хаб или Qlik Sense Desktop.

Предупреждение о синтетическом ключе при загрузке данных?

Синтетические ключи генерируются, когда у двух таблиц есть более одного общего поля. Создание синтетического ключа считается плохим решением, поскольку оно указывает на неправильную структуру данных, которая может вызвать проблемы с обработкой данных и проведением анализа. Для решения этой проблемы нет идеального решения, кроме предотвращения появления более одного общего поля между таблицами.

Предупреждение о циклической ссылке при загрузке данных?

Невозможно выбрать данные из коннектора OLE DB?

Проверьте детали конфигурации подключения, оно должно быть правильно настроено, поэтому нужно проверить, правильно ли составлена строка подключения. Кроме того, вы можете проверить, правильно ли вы входите в систему.

Неподдерживаемый набор символов, отличных от ANSI?

Иногда файлы данных, полученные с использованием соединения OLE DB, не поддерживают символы, которые не кодируются в ANSI. Чтобы решить эту проблему, вы должны получить файлы данных через подключение к папке, поскольку оно будет обрабатывать больше кодов символов.

Коннектор не работает, т. е. не может установить соединение для передачи данных, потому что он установлен неправильно. Проверьте, правильно ли установлен коннектор. В случае развертывания с несколькими узлами коннектор должен быть установлен на всех узлах. И, в некоторых случаях, для работы Qlik Sense необходимо сделать его совместимым.

Данные не загружаются даже после выполнения сценария данных?

Иногда, даже если сценарий выполняется без обнаружения ошибок, данные не загружаются. Чтобы решить эту проблему, активируйте параметр отладки и проверьте код на предмет отсутствия точек с запятой в конце операторов.

Отображается ошибка неверного пути?

Путь к файлу может быть возвращен как недопустимый, если он не найден в системе или если имя превышает 171 символ, поскольку Qlik Sense поддерживает только имена файлов длиной до 171 символа.

Если поле даты не распознается как поле даты?

Вы загружаете поле даты в таблицу, но система не распознает или не считывает поле даты? Откройте диспетчер данных, перейдите к параметру редактирования и отредактируйте эту таблицу. Измените тип поля на «Дата» или «Отметка времени» и укажите формат даты и времени.

Таблицы не отображаются в диспетчере данных?

Диспетчер Данных не показывает таблицы и их данные, даже если они загружены в скрипт? Перейдите в диспетчер данных и нажмите кнопку «Загрузить данные». Это перезагрузит таблицу, завершит профилирование и подготовку данных, а затем отобразит таблицы в приложении.

У вас может закончиться дисковое пространство, когда все кэши данных в файлах QVD будут загружены. Чтобы решить эту проблему, удалите папку, содержащую все файлы QVD из источника, C:\Users\<username>\Documents\Qlik\Sense\Apps\DataPrepAppCache.

ii. Устранение неполадок при создании визуализаций

Не можете найти свои поля на панели ресурсов?

Возможно такая ситуация возникает потому, что вы работаете в опубликованном приложении, в котором издатель не должен иметь доступа к полям.

Геометрические данные (возможно, из файла KML), которые вы используете, не должны иметь неправильный формат или содержать ошибочные и неподдерживаемые данные. Проверьте формат и ошибки, исправьте их и перезагрузите файлы.

Местоположения, предоставленные пользователями для использования на картах, иногда не обнаруживаются и не отображаются, вероятно, потому, что они написаны неправильно или данное местоположение не найдено в базе данных местоположений Qlik Sense. Чтобы решить эту проблему, проверьте наличие ошибок в написании или добавьте координаты местоположения вручную, если его нет в базе данных QS.

Введенное вами местоположение похоже на другие местоположения и возвращает несколько результатов? Вы можете указать дополнительные сведения об этом конкретном месте, чтобы отделить его от других. Мы называем это установкой области для местоположения. Установите для параметра «Область действия» значение «Пользовательский» и добавьте дополнительные сведения, такие как город, штат, страна и т. д.

iii. Устранение неполадок в обнаружении в Qlik Sense

Не дает результатов при поиске?

Возможно, это связано с тем, что выборки, значения которых вы ищете, заблокированы. Разблокируйте выбор, а затем выполните поиск.

Визуализации не отображаются должным образом, если у вас нет доступа к некоторым полям данных. Попросите администратора приложения предоставить вам доступ к полям с ограниченными данными.

iv. Устранение неполадок при экспорте в Qlik Sense

Данные не экспортируются полностью?

Возможно, вы превысили ограничение на размер файла. Создайте файл поддерживаемого размера и затем экспортируйте его.

Не удается экспортировать визуализацию как изображение?

Возможно такая ситуация возникла потому, что размер визуализации слишком велик для экспорта. Допустимый размер – 2000 на 2000 пикселей. Если размер вашего изображения превышает этот, измените размер изображения и попробуйте экспортировать его снова.

Наличие пробелов вместо символов определенного языка?

Иногда символы таких языков, как японский, корейский, упрощенный китайский или традиционный китайский, не поддерживаются в шрифтах историй. Итак, если вы хотите отображать эти шрифты на разных языках, вам необходимо загрузить шрифты, а затем экспортировать PDF-файлы.

Таблица просмотра данных возвращается к визуализации после экспорта?

Это связано с тем, что просмотр данных не поддерживает экспорт. Вы можете выбрать параметр «Экспорт данных», чтобы вместо этого экспортировать данные из каждой визуализации.

В таблице после экспорта не отображается поле «Итого»?

Возможно, это из-за того, что после экспорта сохраняются только исходные поля, поэтому вам придется заново создать вычисленное поле «Итого».

v. Устранение неполадок Qlik Sense при развертывании

vi. Устранение неполадок при администрировании

Для устранения неполадок при выполнении задач администрирования используются файлы журналов, в которых хранится информация, связанная с производительностью системы, для всех типов операций, выполняемых в Qlik Sense. В файлах журнала хранится журнал операций безопасности, загрузки данных, балансировки нагрузки, распределения и т.д. Все возникающие проблемы и предлагаемые для них методы устранения неполадок обычно делятся на разделы вариантов использования. Таких разделов три,

Хотя Qlik Sense позволяет решать задачи аналитики разными способами, есть ряд рекомендованных подходов для обеспечения наилучшей производительности ваших приложений. Неприменение этих подходов не сделает вашу аналитику нерабочей, но может привести к проблемам при масштабировании, связанным с ростом кол-ва пользователей и объема данных, а также сложности моделей.

Рекомендации по росту производительности затрагивают 3 уровня:

Скорость загрузки данных;
Ресурсоемкость приложений (объем потребления оператиной памяти);
Скорость работы визуального слоя приложений.

ETL (подготовка данных)

Используйте инкрементальное обновление данных. Не перезагружайте данные из источника полностью, берите только измененные/новые данные. Остальное подтягивайте из QVD-файлов. Справка

Упрощайте данные. Операции над числами выполняются быстрее чем операции над текстом. Более короткие значения потребляют меньше памяти. Если в ваших данных есть поля вроде GUID документа со значениями типа 0a0d25f-f415-11e5-64adfbbb-6645c, спросите себя: “реально ли для аналитики необходимо наличие именно таких значений в этом поле”? Если нет, то можно обработать поле функцией autonumber вне оператора load.

Создавайте флаги для подсчетов. Суммирование (sum) работает быстрее чем подсчет (count). Заметно на больших объемах данных. Вместо подсчета уникальных элементов (count (distinct Deal_ID)) можно создать в таблице поле со значением 1, и выполнять суммирование по нему (sum(DealCountFlag))

Попробуйте перенести часть обработки данных на запрос к БД. Особенно если это касается агрегирования или сложного объединения таблиц. Однако помните, что тогда на БД будет повышенная нагрузка. Лучше комбинировать этот подход с инкрементальной загрузкой.

Используйте подход preceding load для последовательного преобразования таблиц где это возможно, вместо resident. Это позволит вам ссылаться на имена рассчетных полей, не инициируя перезагрузку данных из таблицы. Кроме того, читабельность вашего кода возрастет.

Скрипт и построение модели

Стремитесь свести модели данных к топологии Звезда (все таблицы объединены через центральную таблицу связей). Чем меньше в модели переходов между таблицами, тем быстрее работает отрисовка визуализаций.

На больших объемах данных, выносите в центральную таблицу связей также поля, по которым считаются меры. Когда переходов между таблицами нет, вычисления работают еще быстрее.

Учитывайте, что нету единой правльной топологии, т.к. существуют сценарии связи данных, которые нельзя реализовать в конкатенированных фактах, т.к. это приведет к дублированию данных (например, связи один-ко-многим).

Удаляйте временные таблицы как только они стали не нужны, а не тяните их до конца скрипта для массового уничтожения.

Используйте команду Search, чтобы в явном виде обозначить поля, для которых нужно делать индексацию интеллектуального поиска (вместо полного включения/выключения).

Не используйте DERIVED-поля на больших объемах данных. Т.к. эти поля на самом деле считаются на лету в визуальном слое (сюрприз).

Обновляйте приложения через бинарную загрузку. У вас несколько одинаковых приложений (пользовательское и разработчика)? Создайте приложение с обычным скриптом, которое загружает данные. А в рабочие приложения загружайте данные из него с помощью Binary Load. И в них создавайте визуализации. Таким образом полноценная загрузка данных произойдет только один раз, а в 2 рабочих приложения данные попадут по ускоренной схеме. Что в итоге быстрее, чем обновлять 2 приложения через полную перезагрузку. Таким образом загружать данные в т.ч. из папки Qlik Share на сервере.

Используйте составные ключи в таблицах связи вместо первичных ключей, где это возможно. Допустим, у вас есть таблица отгрузок на 10 000 000 млн. строк, с данными за 2 года. Но если для связи с другими таблицами не нужен ее первичный ключ (ИД документа), то в таблице связей можно использовать составной ключ, содержащий комбинацию общих полей с другими таблицами и дат. Таким образом, вместо 10 000 000 первичных ключей в таблицу может попасть на порядки меньше записей на основе составного ключа, например 100 000.

Визуальный слой

Используйте однотипное написание формул. sum(Sales) и Sum([Sales]) вернут одинаковый результат, но каждая формула будет вычисляться заново.

Скрывайте визуализации с большим объемом данных через функцию Ограничения вычислений. Требуйте от пользователя сначала задать фильтры, а не сразу рисуйте ему таблицу на 10 000 000 строк.

Если используете функцию AGGR, подумайте, можно ли вынести эти группировки данных в скрипт загрузки.

Не злоупотребляйте вычисляемыми измерениями. Лучше выносить формирование полей, особенно по сложным условиям, в скрипт загрузки.

Создавая динамические цвета в таблицах, по возможности ссылайтесь на уже существующие в ней данные через функцию column или указание наименований мер. Это позволит использовать уже готовые вычисления вместо повторного.

Вместо условий if, используйте функционал Set Analysis. Условия с if проверяют построчно весь гиперкуб (массив данных, используемый для отрисовки визуализации), а Set Analysis предварительно отбирает ограниченный массив, и по нему выполняет агрегацию.

2 комментария

Здравствуйте!
Вопрос по бинарной загрузке. Можно ли настроить так, чтобы после бинарной загрузки данных из другого приложения, в текущем приложений данные обновлялись автоматом? Без принудительного запуска скрипта.

Бизнес анализ с QlikView, Qlik Sense, Tableau, Microsoft Power BI, Prognoz

Архивы

Календарь

FAQ по техническим вопросам о Qlik Sense/Qlik View часть 1

4 декабря 2017 gromych

Q: Вам нужна постоянная авторизация при запуске Qlik Sense?

Версии, предоставляемые разработчиком для всех и для клиентов, могут отличаться.

A: У меня подобная ошибка была из-за линейного графика. В свойствах линейного графика, в разделе Дополнения-Обработка данных я снял галку Включить нулевые значения и ошибка пропала.

Скорее всего эта ошибка из-за нулевых, минусовых, пустых значений.

Данный файл был опознан как Ваш собственный. Однако необходимо обновить ключ в документе, чтобы отразить изменения в вашей копии Personal Edition с момента создания этого документа.

Документ будет обновлен и загружен без данных. После окончания операции, пожалуйста, СОХРАНИТЕ документ и выполните загрузку данных.

И теперь файл ничего не отображает. Как все вернуть обратно?

Q: Порекомендуйте, пожалуйста, как лучшего всего обновить QVS
Сейчас стоит 12.00, планирую накатить 12.10

Q: Возник такой вопрос. Можно ли перенести на сервер, приложение с Personal Edition, созданное на локальной машине, так чтобы все данные сохранились. Если можно, то каким образом?

A: Если у вас сервер с лицензией, то да. А вот в обратную сторону (открыть не своё приложение, если 4 попытки закончились), не получится.

A: Привет, а если не exe-шник а просто десктопную версию ставить?

Q: Можно ли в планировщике настроить следующий таск:

Перед обновлений данных приложения сохранить бэкап необновленного приложения в определенное место на диске.

A: Можно написать powershell/bat/vbscript/jscript скрипт, который копирует текущую версию приложения в backup. Затем создать задачу в планировщике Windows на ежедневный запуск данного скрипта.

Q: Помогите решить задачу:
Есть дерево папок в которые систематически добавляются файлы и после обработки удаляются
Пример папок:
..\Регион 1
..\Регион 2
..\Регион 3
и тд.
Но так как не всегда все папки содержат файлы скрипт соответственно выдает ошибку о том что файл для обработки не найден
Как обрабатывать только папки содержащие файлы исключая пустые папки из загрузки?

A: Если у вас Desktop, то меняем параметр на StandardReload=0 в файлике Settings.ini. Находится он C:\Users\ \Documents\Qlik\Sense

Q: Мы недавно обновили QlikView сервер с 10 версии на 11 и все отчеты стали заметно дольше выгружаться, очень заметно тормозить. Отчеты не переписывались. Может кто сталкивался и знает в чем может быть дело. Или есть какие то общие рекомендации по оптимизации кода. Переписать какие то функции, которые справлялись в 10 версии, но в новой тормозят.

A: посмотри в англоязычном сообществе. Может и обсуждалось.
У меня с переходом на десктопе с 10 на 11 был один глюк. Перестали работать некоторые скрипты на целероне.

Q: Предлагаю обсудить вопрос использования продуктов Qlik.

A: Интересное мнение. Если 1С-ка файловая- возможно и соглашусь с тем что данные вытянуть быстрее средствами 1С, но в случае с SQL-базами все как раз наоборот. Средствами 1С сделать аналитику уровня QLIK Невозможно.

Q: подскажите пожалуйста как можно ускорить работу приложение qlikview. У меня в приложение много записей, тормозит сильно сводная таблица и некоторые диаграммы. Долго перевыбирает данные.

Q: Есть приложение, в планировщики поставил, чтобы оно обновлялось каждые 15 минут. Мне нужно(если такое возможно), чтобы планировщик не обновлял данные ночью, т.е. например надо, чтобы он загружал данные с 8:00 до 20:00 каждые 15 минут, а остальное время не обновлял данные. Если так можно сделать, подскажите пожалуйста как. Заранее спасибо.

A: Если организовано через планировщик винды то так:
ставите расписание с повтором каждые 15 минут и запуском vbs скрипта, в котором проверяете текущее время. Если оно в нужном промежутке, то запускаете Ваше приложение на выполнение.

Q: Возможно ли из QlikView и QlikSense экспортировать таблицы,переменные,диаграммы в Word с помощью/без помощи Н-принтинга?

A: Доводилось тестировать NPrinting в cвязке с QlikView, можно выгружать и таблицы и диаграммы в Word, причем все интуитивно понятно (набросать шаблон, запланировать обновление, при необходимости задать адресатов. и в нужное время будут у вас отчеты заданного формата с актуальными данными). Без NPrinting сам не пробовал, но думаю макросы помогут, если есть умельцы такой макрос написать, по крайней мере когда-то натыкался на выгрузку в Power Point, а выгрузка в Excel точно освящена на community.
Касательно Qlik Sense утверждать не берусь, c NPrinting думаю все будет без проблем, а вот насчет выгрузки без него ничего утверждать не стану, пока не доводилось сталкиваться с такими задачами.

A: Сделайте отдельный документ для обновления qvd-файлов.
А обновление приложения с визуализацией доверьте пользователю.

Q: Подскажите, пожалуйста, в чем может быть причина, что не освобождается память, если даже закрыты все документы QlikView и никаких расчетов не происходит. Вижу, что занято 80 % памяти, при этом все держит QlikView.

A: Замечал, что exe-файл после закрытия QlikView может продолжать существовать на сервере или на компьютере в фоновом режиме. Как вариант, можно убить процесс, через диспетчер задач. Но с этим нужно быть внимательным! 🙂

Q: помогите пожалуйста,
как расчитать объем оперативной памяти который нужен для Qlik Sense.
если известен количество строк модели, количество столбцов, и объем одной записи.
к примеру 20 столбцов
40 млн записей
и одна запись весит 2кб

A: проверь почту.
Была рассылка по поводу изменения процедуры входа в Qlik Sense Cloud.

Q: Подскажите,пожалуйста, есть ли возможность обрезать модель в клик сенсе по текущим выборкам и как это сделать? Нужно оставить данные только за один год

A: Вроде бы схема возможна в реализации.
Но я бы все-таки начал со стандартных механизмов фильтрации в Qlikview и Qlik Sense.

Найти решение у бизнес-партнера QlikTech (QlikView) в России.

Читайте также: