Анализ подключений к данным
Преимущества:
- Понимание, кто является владельцем подключения к данным
- Отслеживание использования подключения к данным.
- Возможность аудита подключений к данным
- Выявление устаревших подключений к данным.
Цель
Есть множество задач по управлению и курированию подключений к данным на сайте Qlik, особенно на уровне разработки, где множество опытных пользователей создают подключения к данным. По сути, цель состоит в том, чтобы сделать сайт Qlik Sense более компактным, производительным, с более простым и комплексным управлением.
Предварительные условия
Data Connection Analyzer
В этой статье рассматривается анализ подключений при помощи приложения «Data Connection Analyzer» («Анализатор подключений к данным»). С его документацией вы можете ознакомиться здесь: Data Connection Analyzer. Чтобы понять, почему этот инструмент необходим для этого процесса, обратитесь к разделу «Использование подключения данных» в статье «Удаление неиспользуемых подключений данных».
Какие подключения больше не используются?
Подключение к данным обнаружено в логе выполнения скрипта загрузки, и подключение к данным есть на сайте Qlik Sense, но приложения, которые ссылаются на это подключение к данным в своих скриптах, больше не существуют.
Подключения к данным часто становятся устаревшими или не используются с течением времени. Источник данных может меняться от одной базы данных к другой. Или, возможно, потребности в источнике данных уже нет. Используя это приложение, можно определить, какие подключения использовались внутри приложений Qlik, но эти приложения Qlik были удалены, при этом ни одно новое приложение Qlik не использует это подключение.
Как найти?
Перейдите к листу «Unused Connection Analysis» («Анализ Неиспользуемых Соединений»).
Если есть какие-либо подключения, которые попадают в эту категорию, они появятся в таблице «Connections that have been used, but the Apps have since been Deleted: X» («Подключения которые использовались, не приложения с тех пор были удалены). В приведенном здесь примере их 6.
Что с этим делать?
Если в таблице дата последнего использования (колонка «Last Used (Reloaded)») подключения ранее, чем за 90 дней от сегодня (или любой другой период, по истечение которого Вы будете считать подключение устаревшим), обратитесь к владельцу подключения данных, чтобы узнать, можно ли его поместить в карантин, а затем окончательно удалить. См. Раздел «Предлагаемые действия» в статье «Удаление неиспользуемых подключений к данным».
Какие подключения никогда не использовались?
Подключение к данным существует на сайте Qlik Sense, но ссылки на него нет ни в одном логе выполнения обновления данных приложения.
Обычно пользователи создают подключения к данным для проверки возможности подключения, но так и не используют их. Используя это приложение, можно обнаружить подключения, которые никогда не использовались и существовали в течение времени «x» (скажем, 90+ дней), чтобы можно было удалить их.
Примечание
Приложение «Data Connection Analyzer» использует в скрипте переменную с именем vNumLogDays, в которой указывается, за сколько дней приложение должно анализировать журналы. Если в этой переменной установлено значение, отличающееся от значения по умолчанию (9999), то возможна такая ситуация, когда подключение к данным использовалось ранее, но с момента его последнего использования прошло более vNumLogDays дней, и поэтому «Data Connection Analyzer» считает такие подключения неиспользуемыми. Если цель состоит в том, чтобы получить статистику за весь имеющийся в логах исторический период, убедитесь, что в переменной vNumLogDays установлено значение 99999, таким образом, настроен захват всех логов.
Если старые архивные логи архивируются (см.: «Архивирование старых архивных логов»), то это тоже необходимо учитывать, поскольку эти логи выполнения скриптов не будут анализироваться. Как правило, это вполне приемлемо, поскольку они обычно довольно старые, и, если подключение с тех пор не использовалось, можно с уверенностью сказать, что оно не используется и может быть удалено.
Как найти?
Перейдите к листу «Unused Connection Analysis» («Анализ Неиспользуемых Подключений»).
Если есть подключения, которые попадают в эту категорию, они появятся в таблице «Connections that have never been used in an App Reload» («Соединениях, которые никогда не использовались при обновлении данных в приложениях»). В данном примере их 27.
Что с этим делать?
Если в таблице дата создания (колонка «Created») подключения ранее, чем за 90 дней до сегодня (или любой другой период, по истечение которого Вы будете считать подключение устаревшим), обратитесь к владельцу подключения данных, чтобы узнать, можно ли его поместить в карантин, а затем окончательно удалить. См. Раздел «Предлагаемые действия» в статье «Удаление неиспользуемых подключений к данным».
В каких приложениях используются подключения к данным?
Представьте, что источник данных изменился, например, потому что был перемещен из одной базы данных в другую. Первый вопрос, который можно задать: «В каких приложениях используется это подключение, чтобы можно было заменить его на подключение к новой базе (чаще всего нужно заменить наименование подключение в скрипте загрузки данных приложения)?». Приложение «Data Connection Analyzer» позволяет выбрать соединение и увидеть приложения, которые его используют.
Как найти?
Перейдите к листу «Dashboard».
Выберите значение True в фильтре, следующем за KPI «Connections Used» («Используемые Подключения), чтобы выбрать все используемые подключения к данным.
Выберите одно подключение к данным, чтобы увидеть все приложения, в которых оно используется.
Если необходимо, наоборот, увидеть все подключения, которые используются в каком-то одном приложении, выберите это приложение.
Что делать?
Если подключение к данным устарело и не должно больше использоваться и/или должно быть заменено на другое, убедитесь, что выполняется описанный выше процесс поиска всех приложений, зависящих от этого подключения к данным, чтобы потом можно было внести соответствующие корректировки в скрипты загрузки данных в те приложения, где это требуется.
Есть ли у нас дублирующиеся подключения к данным?
В каждом подключении к данным хранится параметр «Connection string» («Строка подключения»), в котором зафиксированы настройки соединения с источником данных. Анализирую этот параметр, можно устранить повторяющиеся подключения к одним и тем же исходным данным. Это снижает накладные расходы на администрирование и гарантирует возможность повторного использования/согласованность в рамках всей платформы.
Как найти?
Перейдите к листу «Duplicate Analysis» («Анализа Дубликатов»).
В этом примере (см. следующее изображение) выбран тип подключения «Folder» («Папка»), и видно, что существует 2 дубликата подключения к одной и той эе папке. Из примера на следующем изображении, можно сделать следующие выводы:
-
Подключение к папке C:\QlikShare\QVD\
- Имеет четыре дубликата у двух разных пользователей.
- Используется двумя приложениями.
- ПодключениеC:\QlikShare\SharedApps\
- Имеет два дубликата у одного пользователя.
- Не используется ни одним приложением.
Самое интересное, что эти подключения к папкам указывают на разные подкаталоги внутри одной и той же папки.
В следующем примере выбран тип QvOdbcConnectorPackage.exe, и видно, что есть одно подключение ODBC, которое имеет единственный дубликат. Также видно, что у подключения указан владелец, который является общим для подключений ODBC, чтобы гарантировать безопасность базы данных для отдельных пользователей, где сквозная аутентификация не является вариантом.
Что делать?
По возможности следует устранять дубликаты подключений. Свяжитесь с владельцами приложений и проверьте, какие приложения их используют. Решите, какие подключения должны стать основными для разработчиков, а после перехода на новое подключение убедитесь, что все приложения используют только его.
Какие подключения из тех, которые раньше использовались, были удалены?
Анализируя логи загрузки, можно обнаружить устаревшие имена подключений к данным, которые уже удалены.
Как найти?
Перейдите на лист «Dashboard».
Выберите значение True в фильтре рядом с KPI «Connections Only Found in Script» («Подключения, найденые только в скрипте»). Визуализация «Connections by Type» («Подключения по типу») теперь будет отображать все соединения, которые были обнаружены в логах обновления данных, но не были найдены в QRS.
Что делать?
В данном случае нет необходимости в каких-то прямых действиях, так как эта деятельность полезна в контексте аудита. Используйте при необходимости.
Какие подключения к данным используются чаще всего?
В зависимости от того, как развернуто приложение «Data Connection Analyzer», оно будет либо только для администрирования, либо видимым для разработчиков. Этот показатель важен как в административном, так и в «социальном» плане во всей организации.
Как найти?
Перейдите на страницу «Usage» («Использование»).
Найдите таблицу «Connection # Times Used (Script Logs) » («Количество использованных подключений (логи скриптов)»). В этой таблице отображается количество логов выполнения скриптов обновления данных, в которых обнаружено каждое подключение.
Выберите подключение, и в визуализация Вы увидите, какие приложения его использовали и когда, а также при каких типах обновления (задача, вручную, API).
В правом верхнем углу можно выбрать фильтр «Executed by» («Выполнено»), чтобы увидеть, какие пользователи использовали подключение к данным.
- INTERNAL\sa_scheduler при обновлении данных с помощью задач
- INTERNAL\sa_api при обновлении данных с помощью API (ODAG или другие)
- Учетные записи конечных пользователей - при выполнении обновления из Хаба
Что делать?
В данном случае нет необходимости в каких-то прямых действиях, так как эта деятельность полезна в контексте аудита. Используйте при необходимости.
Кто и какие подключения к данным использует?
В то время как «Пользователь A» может владеть «Подключением к данным A», «Пользователь B» может иметь доступ на чтение к этому подключению. Это, конечно, можно увидеть в QMC с помощью функционала аудита, однако, это приложение покажет, кто точно выполнял перезагрузку данных с использованием конкретного подключения. А это обеспечивает большую видимость и позволяет выполнять более глубокий аудит и управление.
Как найти?
Процесс поиска ответа на этот вопрос рассматривается в разделе «Какие подключения к данным используются чаще всего?» и в разделе выше, а также это можно сделать, перейдя на лист «Usage» («Использование») и использовав соответствующий фильтр «Executed by» («Выполнено»).
Что делать?
В данном случае нет необходимости в каких-то прямых действиях, так как эта деятельность полезна в контексте аудита. Используйте при необходимости.
При каких перезагрузках используются подключения к данным?
Приложение показывает, какие подключения используются при выполнении обновления с помощью задач автоматического обновления, вручную или в запросах ODAG (или другого API). Это очень важно для понимания поведения пользователей.
Как найти?
Процесс ответа на этот вопрос рассматривается в разделе «Какие подключения к данным используются чаще всего?» в разделе выше. Этого можно достичь путем перехода к листу использования и фильтрации по фильтру «Тип выполнения» в таблице «Count of Data Connections by ExecutionType» («Количество подключений к данным по типу выполнения обновления»).
Что делать?
В данном случае нет необходимости в каких-то прямых действиях, так как эта деятельность полезна в контексте аудита. Используйте при необходимости.
